正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
智能助手 智能助手通过NLP (Natural Language Processing) 机器学习,理解用户输入的集成业务需求,匹配系统支持的触发器、连接器和数据处理器,生成组合应用。可以对生成的组合应用进一步配置和编排,最后构建,部署上线。 操作步骤 登录新版ROMA Connect控制台。
任务管理”。 在任务管理页面中启动任务,您可以根据集成模式、任务状态和任务名称等筛选查找要启动的任务。 数据集成任务有两种启动方式。 启动任务,任务按照所属集成模式的机制运行。 在数据集成任务左侧勾选上要启动的任务,单击任务列表上方的“启动”,启动任务。任务启动成功后,“任务状态”变为“启动”。
一的全量或增量采集能力。 组合任务在运行过程中支持添加表,选择重启后可对新表执行全量采集或者增量采集。 源端Oracle数据源: 大文本类型和二进制类型的字段不支持同步。 表名为小写的数据表不支持同步。 无主键的数据表不支持同步。 如果表中数据较少,建议通过每天采集一次全量数据的
er频繁超时做rebalance,阻塞消费。 ROMA Connect不能保证消费重复的消息,业务侧需保证消息处理的幂等性。 消费线程退出要调用Consumer的close方法,避免同一个组的其他消费者阻塞sesstion.timeout.ms的时间。 Producer使用建议
在左侧的导航栏选择“数据集成 FDI > 监控调度”。 在监控调度页面中可根据任务状态和任务名称筛选要查看的任务的状态、调度模式、调度周期以及最近执行时间等信息等。 组合任务还可以查看重置同步进度,读取表的全量数据时间及等信息。 单击任务上的“调度日志”,可查看该任务的详细调度日志。 您可以设置
填写OBS数据源中,要获取数据文件所在的路径。Path的值不能以斜杠(/)结尾,不能设置为OBS桶的根目录。 文件名前缀 填写文件名前缀,与“时间格式”配合使用,用于筛选要集成的数据文件。 时间格式 选择文件名中的时间格式,与“文件名前缀”配合使用,用于筛选要集成的数据文件。 是否解析
paging-total 记录总数(当查询的数据量达到了记录总数时停止分页查询,使用此种方式则必须通过pagingEndFieldPath来指定记录总数的key值,此key值由API服务端返回) pagingEndFieldPath 否 String API服务返回的表示总数据量的key值。 pagin
配置说明 Path 填写OBS数据源中,要获取数据所在的对象名。Path的值不能以斜杠(/)结尾。 文件名前缀 填写文件名前缀,与“时间格式”配合使用,用于筛选要集成的数据文件。 时间格式 选择文件名中的时间格式,与“文件名前缀”配合使用,用于筛选要集成的数据文件。 文件类型 选择从O
如收集生产线上设备的实时参数。 实时全量集成适用于需要实时监控所有历史数据的业务场景,例如统计供应商合作伙伴的出货量。 定时增量集成适用于监控一段时间内数据变化的业务场景,例如企业采用新的生产策略后,验证生产效率是否达到预期效果。 定时全量集成适用于监控一段时间内所有历史数据的业
参数 说明 表名 要查询的数据库中的表名。 列名 数据表中列名。 WHERE条件 填写要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录
参数 说明 表名 要查询的数据库中的表名。 列名 数据表中列名。 WHERE条件 填写要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录
表名 填写要查询数据的数据表名。 字段名 填写要查询数据的字段名,多个字段以英文逗号(,)分隔。 WHERE条件 填写要查询数据的条件。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 获取增量记录
WHERE条件 填写要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 选择连接的数据库中要插入数据的表名。 插入数据
束日期。 offset 偏移量,表示从此偏移量开始查询,offset大于等于0。 limit 每次查询的条目数量。 表2 获取流水线状态 参数 说明 pipeline_id 要获取状态的流水线ID。 region_id 区域ID。 build_id 要获取状态的执行ID。 表3 获取流水线列表接口
选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2
选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2
选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2
avg_backend_latency Float 平均后端延时 output_throughput Long 下行吞吐量(byte) input_throughput Long 上行吞吐量(byte) current_minute Long API访问的UTC时间戳 cycle String 查询统计周期
实例内部有一定的性能损耗,适用于并发量较小的场景。 高性能流控:单位时间内流控偶现较小误差,但高并发场景下实例内部性能损耗较小,适用于并发量较大的场景。 单机流控:单位时间内流控存在一定误差值,但高并发场景下实例内部性能损耗最小,适用于并发量更大的场景。 策略基本信息 策略生效范围
Connect支持把HIVE作为一个数据源,用于创建数据API。在使用HIVE数据源前,您需要先接入数据源。 数据集成中仅支持百万以内数据量。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA