检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。 约束与限制 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数
填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 添加数据 查询数据 删除数据 配置参数 表1 添加数据 参数 说明 Collection名称 选择或者填写要添加数据的Collection名称。
安全组参数 参数 端口 MQS 内网访问端口 9092 MQS 内网SSL模式访问端口 9093 MQS 公网访问端口 9094、9095、9096 MQS 公网SSL模式访问端口 9095、9096、9097 MQS RESTful接口访问端口 9292 可能是配置的Topic有误。
服务集成 APIC API 入门版:100 基础版:250 专业版:800 企业版:2000 铂金版:8000 支持 API分组 1500 支持 单个API分组内的API 入门版:100 基础版:250 专业版:800 企业版:2000 铂金版:5000 支持 单个API分组内的环境变量
"state": "success", "id": "3" } ] 父主题: MQS连接开发(RESTful API)
填写Topic的名称,根据规划自定义。建议您按照一定的命名规则填写Topic名称,方便您快速识别和查找。 Topic不能以“.”和“_”来区分不同的名称,例如先创建了名称为“Topic.test”的Topic,则再创建名称“Topic_test”的Topic时会创建失败。 集成应用 选择Topic所属的集成应用。
Connect实例控制台,在“服务集成 APIC > API管理”的“签名密钥”页签中,单击API所绑定签名密钥的名称进入签名密钥详情页面,获取签名密钥的Key和Secret。 新版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > API策略”的“策略管理”页签中,在
映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。 在映射模式下,源端或目标端数据类型为API时,数据字段不支持自动Mapping,需要手动配置Mapping。 映射模式
填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库 填写要连接的数据库名。 密码 连接数据库的密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 有序集合基本操作 集合基本操作 哈希基本操作 列表基本操作 字符串基本操作 键的基本操作 字符串基本操作 配置参数
ostname:port/dbname。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取记录 添加记录 更新记录 删除记录 配置参数 表1 获取记录 参数 说明 表名 要查询的数据库中的表名。 列名
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
导入资产 在实例控制台的“实例信息”页面,单击右上角的“导入资产”。 在“导入资产”弹窗中根据实际情况选择“新增导入”或“覆盖导入”。 不同实例的数据源ID不可以相同,如含有相同ID的数据源,请选择覆盖导入。 当选择“覆盖导入”时,根据是否需要覆盖环境配置选择“覆盖”或“不覆盖”。
任务执行失败后的重试执行次数,可设置重试0-3次。 API 单击右侧的“选择API”,选择任务要调用的API。 若API所属集成应用与定时任务所属集成应用不同,仅能选择“APP认证”类型的API,且需要配置API授权给定时任务所属的集成应用,才可实现定时调度。 请求参数 添加调用API的请求参数。
用户使用ROMA Connect作为消息管理系统,查看队列的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时,通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可以创建一个新的消费组,对主题中的消息进行消费并分析消费过程,这样不会影响其他服务对消息的处理。
在导出后端页面中,配置导出相关信息。 表2 导出自定义后端 参数 说明 导出类型 选择自定义后端的导出类型。 全量导出:导出所有自定义后端。 若不同集成应用下的自定义后端有相同的请求路径,则相同请求路径的自定义后端只能导出其中的一个。 集成应用:导出指定集成应用下的自定义后端。 集成应用
引用函数表达式 用户在编辑设计组合应用时,可以通过引用函数表达式的方式快速配置连接器的配置信息,帮助用户便捷高效的设计组合应用。 组合应用中的函数表达式使用方法如图1所示。 图1 函数表达式的使用方法 函数表达式的分类 组合应用提供数学、字符串、加解密、日期和时间、编解码、进制转换共六种类型的函数表达式。
填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取记录 获取增量记录 添加记录 更新记录 同步记录 删除记录 自定义SQL 配置参数 表1 获取记录 参数 说明
导出类型 选择自定义后端的导出类型。 全量导出:导出所有自定义后端。 集成应用:导出指定集成应用下的自定义后端。 说明: 选择全量导出时,若不同集成应用下的自定义后端有相同的请求路径,则相同请求路径的自定义后端只能导出其中的一个。 集成应用 仅当“导出类型”选择“集成应用”时需要配置。
调用请求包最大支持多少? API请求体大小可以在实例配置参数中配置(1-9536 MB),但是有以下几点限制: 使用APP认证时,认证签名只能签12MB,如果请求体大于12MB,签名会失败。 托管类API的请求体最大为2GB。 函数API请求体受内部沙箱内存大小的限制,无精确计算值。
其中: server-id的值应为大于1的整数,请根据实际规划设置,并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。 expire_logs_days为Binlog日志文件保留时间,超过保留时间的Binlog日志会被自动删除,应保留至少2天的日志文件。