检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
')组成且63个字符之内。 最小长度:1 最大长度:63 表6 MemberInfo 参数 是否必选 参数类型 描述 host 否 String 后端服务器地址 后端实例类型为ip时必填 最大长度:64 weight 否 Integer 权重值。 允许您对后端服务进行评级,权重值越大,转发到该云服务的请求数量越多。
ApiAuthDetail object API鉴权详细字段。 broker 否 String KAFKA、MQS、ACTIVEMQ的服务器地址,多个IP:PORT,使用","分隔。 最小长度:0 最大长度:256 ssl 否 Boolean 是否开启SSL认证。 连接MQS内网
CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 源端数据源中CDC归档日志的保留时间需要大于集成任务解析的日志时间,否则会造成集成任务找不到归档日志而导致增量同步失败。因此,数据集成任务停止运行的时间不宜过长。建议最少保留2天以上的归档日志。
数据源连接测试失败排查操作 请检查数据源相关配置是否正确,例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。
ApiAuthDetail object API鉴权详细字段。 broker 否 String KAFKA、MQS、ACTIVEMQ的服务器地址,多个IP:PORT,使用","分隔。 最小长度:0 最大长度:256 ssl 否 Boolean 是否开启SSL认证。 连接MQS内网
否 Integer 迁移数量。 是否解析(is_parse)如果选择了是,表示解析的数据行数,最大值为1500000;是否解析如果选择了否,表示文件数量,最大值为20000 skip_header 否 Boolean 跳过文件头。 “是否解析(is_parse)”选择“是”时需要配置。
配置跨域资源共享策略 出于安全性考虑,浏览器会限制从页面脚本内发起的跨域请求,此时页面只能访问当前域的资源。CORS允许浏览器向跨域服务器发送XMLHttpRequest请求,从而实现跨域访问。更多跨域访问的说明请参见配置跨域访问API。 ROMA Connect支持通过插件策略
则4个任务累加起来的文件大小不能超过800M。 FTP数据源类型 FTP数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;解析的数据行数最大为1500000;不解析模式下,支持的最大文件大小为6M,最大文件数量为20000。 说明: FTP数
return wrapped return wrapper wrapped函数为签名校验代码。校验流程如下:使用正则表达式解析Authorization头。得到key和signedHeaders。 if "authorization" not in request
跨域资源共享插件说明 概述 出于安全性考虑,浏览器会限制从页面脚本内发起的跨域请求,此时页面只能访问当前域的资源。CORS允许浏览器向跨域服务器发送XMLHttpRequest请求,从而实现跨域访问。更多跨域访问的说明请参见配置跨域访问API。 跨域资源共享插件为跨域访问提供指定
... } } } OnAuthorization函数为签名校验代码。校验流程如下:使用正则表达式解析Authorization头。得到key和signedHeaders。 private Regex authorizationPattern
obj; } 数据库字段涉及多层json解析。 如果源端数据对象包含的字段涉及多层json对象嵌套,则需要对每一个解析出来的字段使用“[]”引用。 例如如下脚本表示root字段包含id、name、double等多层对象嵌套,则每一个解析的字段需要单独引用。 function excute(sourceObject)
ApiAuthDetail object API鉴权详细字段。 broker 否 String KAFKA、MQS、ACTIVEMQ的服务器地址,多个IP:PORT,使用","分隔。 最小长度:0 最大长度:256 ssl 否 Boolean 是否开启SSL认证。 连接MQS内网
自定义数据源开发示例(实时任务) 操作场景 对于实时数据源,当前自定义连接器不支持直接接入,只能通过消息中转的方式进行接入。本章节以MQS数据源类型为例进行开发,示例使用Java语言进行开发,Demo代码参考RealtimeConnector.rar。 前提条件 准备装有1.8及以上版本JDK的Linux服务器。
部署Filebeat和ELK 部署Filebeat 登录SHUBAO组件所在节点,切换root用户。 执行以下命令对filebeat.yml文件进行授权。 cd /filebeat sudo chown root filebeat.yml 执行以下命令启动Filebeat。 docker-compose
api_auth_detail ApiAuthDetail object API鉴权详细字段。 broker String KAFKA、MQS、ACTIVEMQ的服务器地址,多个IP:PORT,使用","分隔。 最小长度:0 最大长度:256 ssl Boolean 是否开启SSL认证。 连接MQS内网地址
查看实例信息 概述 实例创建完成后,可在控制台查看和编辑实例的配置信息,主要包含基本信息、配置参数、数据字典以及导入导出资产。 操作步骤 在实例控制台的“实例信息”页面中,选择“基本信息”页签,可查看和编辑实例的基本信息。 表1 ROMA Connect基本信息 内容 内容说明 ROMA
迁移数量。 是否解析(is_parse)如果选择了是,表示解析的数据行数,最大值为1500000。 是否解析(is_parse)如果选择了否,表示文件数量,最大值为20000 数据源为FTP配置。 skip_header 否 Boolean 跳过文件头。 当“是否解析”选择“是”时需要配置。
request = new RequestWrapper((HttpServletRequest) servletRequest); 使用正则表达式解析Authorization头,得到signingKey和signedHeaders。 private static final Pattern
据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a