检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 任务管理”。 在任务管理页面中单击任务名称,进入任务信息页面并查看相关配置信息和日志信息。 您可以根据集成模式、任务状态和任务名称等筛选要查看的任务。(编排任务无任务信息页面) 表1 任务信息说明 内容 内容说明 任务信息 任务的基本信息,包括任务名称、任务ID、集成模式、任务状态等。
源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数interactive_timeout和wait_timeout来规避。
avg_backend_latency Float 平均后端延时 output_throughput Long 下行吞吐量(byte) input_throughput Long 上行吞吐量(byte) current_minute Long API访问的UTC时间戳 cycle String 查询统计周期
实例内部有一定的性能损耗,适用于并发量较小的场景。 高性能流控:单位时间内流控偶现较小误差,但高并发场景下实例内部性能损耗较小,适用于并发量较大的场景。 单机流控:单位时间内流控存在一定误差值,但高并发场景下实例内部性能损耗最小,适用于并发量更大的场景。 策略基本信息 策略生效范围
填写OBS数据源中,要获取数据文件所在的路径。Path的值不能以斜杠(/)结尾,不能设置为OBS桶的根目录。 文件名前缀 填写文件名前缀,与“时间格式”配合使用,用于筛选要集成的数据文件。 时间格式 选择文件名中的时间格式,与“文件名前缀”配合使用,用于筛选要集成的数据文件。 是否解析
er频繁超时做rebalance,阻塞消费。 ROMA Connect不能保证消费重复的消息,业务侧需保证消息处理的幂等性。 消费线程退出要调用Consumer的close方法,避免同一个组的其他消费者阻塞sesstion.timeout.ms的时间。 Producer使用建议
选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2
参数 说明 表名 要查询的数据库中的表名。 列名 数据表中列名。 WHERE条件 填写要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录
选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2
填写要查询数据的字段名,多个字段以英文逗号(,)分隔。 WHERE条件 填写要查询数据的条件。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 填写要插入数据的数据表名。
束日期。 offset 偏移量,表示从此偏移量开始查询,offset大于等于0。 limit 每次查询的条目数量。 表2 获取流水线状态 参数 说明 pipeline_id 要获取状态的流水线ID。 region_id 区域ID。 build_id 要获取状态的执行ID。 表3 获取流水线列表接口
paging-total 记录总数(当查询的数据量达到了记录总数时停止分页查询,使用此种方式则必须通过pagingEndFieldPath来指定记录总数的key值,此key值由API服务端返回) pagingEndFieldPath 否 String API服务返回的表示总数据量的key值。 pagin
潜在的改变数据的顺序,如果这两个消息记录都是发送到同一个partition,则第一个消息失败第二个发送成功,则第二条消息会比第一条消息出现要早。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间,超过这个时间则会抛Timeout异常。
表名 填写要查询数据的数据表名。 字段名 填写要查询数据的字段名,多个字段以英文逗号(,)分隔。 WHERE条件 填写要查询数据的条件。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 获取增量记录
区域ID。 offset 起始偏移量。 limit 每页显示条目数量,最大支持200条。 表3 查询某测试计划下的操作历史 参数 说明 project_id 项目ID。 plan_id 测试计划ID。 region_id 区域ID。 offset 起始偏移量。 limit 每页显示的条目数量,最大支持200条。
填写要查询数据的字段名,多个字段以英文逗号(,)分隔。 WHERE条件 填写要查询数据的条件。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 填写要插入数据的数据表名。
选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2
Connect支持把HIVE作为一个数据源,用于创建数据API。在使用HIVE数据源前,您需要先接入数据源。 约束与限制 数据集成中仅支持百万以内数据量。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA
HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 数据集成中仅支持百万以内数据量。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 MRS Hive数据
项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量,大于等于0。 limit 否 Integer 每页显示的条目数量。 favorite 否 Boolean 查询收藏的应用。 未提供时,查询当前用户有权限的所有应用。