检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源定义”类似。 写端参数定义 定义数据源的写端参数,在数据集成任务的目标端选择该数据源时,需要配置此处定义的写端参数。ROMA Connect与连接器间交互的消息数据为JSON格式,参数以Key-Value形式传递。 单击“添加参数”,添加数据源的写端参数,具体的参数配置说明与“数据源定义”类似。
通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换模式分为映射模式和脚本模式。JavaScript脚本能够实现从源端读取数据后先进行处理再写入目标端。 前提条件 ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源。
到调用请求后立即执行并返回调用结果,客户端发送请求后同步等待,收到后端响应后关闭连接。 Asynchronous:表示异步调用,后端函数服务收到调用请求后将请求排队,执行成功后返回调用结果,服务端在空闲的情况下会逐个处理排队的请求,客户端不关注请求调用的结果。 后端超时(ms)
参数类型 描述 include_internal 是 String 是否包含内部的实例。include_internal参数必须为true(测试版本)。 engine 否 String 引擎类型(Kafka,RocketMQ),查询RocketMQ实例填写:reliability。
建议直接修改该请求,不要重试该请求。 401 Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被
定时:根据制定的任务计划,定时获取源端数据并集成到目标端。 实时:实时将源端产生的数据集成到目标端。 两种集成模式分别所支持的数据源类型请参见接入数据源。 支持自定义数据映射规则 在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到目标端。 支持不同网络环境间的数据集成
Java:2.7.2及以上版本 Python:2.0.1及以上版本 Go:1.8.2及以上版本 C#:1.5.2及以上版本 客户端开发和配置建议: 请参见客户端使用建议和客户端参数配置建议。 父主题: 开发说明
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
仅当“是否开启SSL认证”选择“是”且“数据源方向”选择“目标端”时需要配置。 SSL认证过程中,客户端(ROMA Connect)使用的公钥库文件,与服务端(HL7)使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”且“数据源方向”选择“目标端”时需要配置。 公钥库文件对应的密码。 是否开启白名单
Integer 操作类型,枚举值:0-目标端为ROMA实例MQS;1-目标端为本ROMA实例内FI KAFKA数据源; 2-目标端为本ROMA实例内MRS KAFKA数据源;3-目标端为本ROMA实例内KAFKA数据源;6-目标端为DIS数据源;7-目标端为设备。 最小值:0 最大值:7 app_id
target_column String 目标端字段。 最小长度:1 最大长度:256 target_column_type String 目标端字段类型。 最小长度:1 最大长度:256 target_column_length String 目标端字段长度。 最小值:0 最大值:10000000
target_column String 目标端字段。 最小长度:1 最大长度:256 target_column_type String 目标端字段类型。 最小长度:1 最大长度:256 target_column_length String 目标端字段长度。 最小值:0 最大值:10000000
源端数据源ID。 target_datasource_type 否 String 目标端数据源类型。 target_datasource 否 String 目标端数据源名称。 target_ds_id 否 String 目标端数据源ID。 need_mqs 否 Boolean 线下版本是否使用MQS作为内部通道。
开发说明 开发场景 开发规范 客户端使用建议 客户端参数配置建议 父主题: 消息集成开发指导
应用的Key和Secret。 获取客户端的AppKey和AppSecret: 在ROMA Connect实例控制台选择“服务集成 APIC > API调用”,在“客户端配置”页签中单击API所绑定客户端的名称,进入客户端详情页面,获取客户端的AppKey和AppSecret。 获取认证签名所使用SDK:
控制策略管理 配置流量控制策略 配置访问控制策略 配置客户端配额策略 配置客户端访问控制策略 父主题: 服务集成指导(旧版界面)
设置Topic中存储消息的老化时间,超过老化时间的消息将会被删除。 同步复制 客户端向Topic生产消息时,是否把消息复制给所有副本,然后才向消息客户端返回响应。 开启同步复制后,需要同时在客户端配置acks=-1,否则同步复制无效。 同步落盘 消息客户端向Topic生产的每条消息是否立即写入磁盘。同步落盘开启时,可靠性更高。
Connect实例控制台的“消息集成 MQS > Topic管理”页面,单击“下载SSL证书”下载客户端证书。 步骤一:创建消息Topic Topic是消息客户端与ROMA Connect间进行消息传输的通道,客户端通过Topic向ROMA Connect收发消息。 创建集成应用。 登录ROMA C
getClientCertData() 获取客户端证书 返回信息 返回客户端证书 public String getClientKeyAlgo() 获取客户端私钥加密算法 返回信息 返回客户端私钥加密算法 public String getClientKeyData() 获取客户端私钥 返回信息 返回客户端私钥 public
转发的设备数据是否包含设备信息,为方便后续识别转发数据所属的设备,此处开启。 在“数据目的端”下单击“创建数据目的端”,设置数据目的端相关配置,然后单击“保存”,完成数据转发规则的配置。 表4 数据目的端配置 参数 配置说明 数据目的端 本实践中把数据转发到ROMA Connect的消息集成MQS,此处选择“ROMA