检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字
支持提供给第三方平台使用。 表2 MappingTable 参数 是否必选 参数类型 描述 source_column 否 String 源端表字段的名称。 source_column_type 否 String 源端表字段的类型。
单IP连接数 通过内网连接地址连接,每个客户端IP的连接数上限为1000;通过公网访问时,实例总的连接数上限为1000。 Topic老化时间限制 通过界面创建/修改Topic时,老化时间配置上限为168小时。
目标端任务报任务运行超时 原因分析 任务名称超过64个字符,且多个定时任务名称前64位都相同。 解决方案 修改任务名称长度及多个任务名称前64位相同的问题。 父主题: 数据集成任务
版本 is_http_redirect_to_https Boolean 是否开启http到https的重定向,false为关闭,true为开启,默认为false 缺省值:false verified_client_certificate_enabled Boolean 是否开启客户端证书校验
自动删除 当没有客户端连接队列时,队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。
MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
版本 is_http_redirect_to_https Boolean 是否开启http到https的重定向,false为关闭,true为开启,默认为false 缺省值:false verified_client_certificate_enabled Boolean 是否开启客户端证书校验
最小长度:2 最大长度:64 client_id String 设备客户端ID,平台生成的设备唯一标识。 最小长度:0 最大长度:32 node_id String 设备物理编号,通常使用MAC或者IMEI号,支持英文大小写,数字,下划线和中划线,长度2-64。
0-普通设备(无子设备也无父设备) 1-网关设备(可挂载子设备) 2-子设备(归属于某个网关设备) 最小值:0 最大值:10 client_ip String 客户端IP。 最小长度:0 最大长度:64 keep_alive String 心跳时间。
目标端数据源为公网Kafka时,定时任务目标端报“The task executes failed.Writer data to kafka failed”错误 原因分析 目标端数据源为公网Kafka时,由于网络原因导致定时任务报“The task executes failed.Writer
FDI任务失败,修改问题后任务写入仍然报错 原因分析 Writer端写入数据时,先从Kafka通道的topic中消费数据,成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使修改了任务配置
MQS支持的Kafka服务端版本是多少? MQS支持Kafka 1.1.0、2.7版本。 父主题: 消息集成
自定义认证函数类型为LD时必填 need_body Boolean 是否发送body auth_downgrade_enabled Boolean 宽松模式,连接函数鉴权服务失败或者函数鉴权服务返回5XX,网关是否接受客户端请求。
Synchronous:表示同步调用,后端函数服务收到调用请求后立即执行并返回调用结果,客户端发送请求后同步等待,收到后端响应后关闭连接。
自定义认证函数类型为LD时必填 need_body Boolean 是否发送body auth_downgrade_enabled Boolean 宽松模式,连接函数鉴权服务失败或者函数鉴权服务返回5XX,网关是否接受客户端请求。
支持TLSv1.1或TLSv1.2 缺省值:TLSv1.1 verified_client_certificate_enabled Boolean 是否开启客户端证书校验。只有绑定证书时,该参数才生效。
支持TLSv1.1或TLSv1.2 缺省值:TLSv1.1 verified_client_certificate_enabled Boolean 是否开启客户端证书校验。只有绑定证书时,该参数才生效。
创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导
协议类型 停车场设备通过集成MQTT客户端接入ROMA Connect,此处选择MQTT协议类型。 应用 选择1中创建的集成应用。 产品模板 本实践配置中未使用产品模板,此处不设置。 产品名称 填写产品的名称,自定义。 厂商名称 填写停车场设备的厂商名字。