检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 完成数据源接入配置后,
创建数据后端 概述 ROMA Connect支持把数据源定义为后端服务,实现从数据源中读写数据,并以API的形式对外开放。 约束与限制 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超
Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源 接入SYBASEIQ数据源 接入HANADB数据源 接入APPCUBE数据源 接入APIC数据源
选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 指从源端获取到的JSON或XML格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:由于数据根字段不设置,此处填写元数据的完整路径。
HIVE:HIVE数据源 MRSHBASE:MRS HBASE数据源 MRSHDFS:MRS HDFS数据源 MRSHIVE:MRS HIVE数据源 MRSKAFKA:MRS KAFKA数据源 MRSREDIS:MRS REDIS数据源 MRSCLICKHOUSE:MRS CLICKHOUSE数据源
接入MySQL数据源 概述 ROMA Connect支持把MySQL数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用MySQL数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
辑器页面,后端类型默认为数据后端。 配置和部署数据后端。 在编辑器页面左侧单击“添加数据源”。 在添加数据源弹窗中配置数据源信息,完成后单击“立即添加”。 表2 数据源配置 参数 配置说明 选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型
开放数据API 接入数据源 创建数据后端 发布数据API 绑定域名 配置调用授权(可选) 父主题: 服务集成指导
台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“HL7”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
数据源连接测试失败排查操作 请检查数据源相关配置是否正确,例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。
OpenAPI接口 导出API 导入API 导出自定义后端API 导入自定义后端API 父主题: 服务集成API
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
数据映射 “数据映射”处理器用于将源端数据转换为目标端格式的数据。后续节点可通过payload方式引用数据映射处理器的输出数据。 配置参数 参数 说明 源端数据源 设置源端数据源,数据库类型的数据源在选择完表之后会自动显示字段信息,其他格式的数据源需要通过导入文件或者手动增加的形
数据筛选 “数据筛选”组件对传入该组件的数据按照指定的表达式进行筛选,并将筛选出的结果通过节点变量传递给后续节点。通常“数据筛选”组件会作为“数据拆分”组件的后续步骤以配合使用。 配置参数 参数 说明 表达式 数据筛选的表达式。 使用表达式对数据进行筛选,并传递给后续节点。例如数
MRS Hive是否支持分区? MRS Hive支持分区。 在输入Mapping信息时,可以参考下面格式: { "partion_col":{ "origin_col": "源表分区字段名", "target_col": "目标分区字段名" }, "col_seq":{ "index_0":"源表字段1"
开放业务系统数据 方案概述 配置示例 父主题: 应用示例
HIVE:HIVE数据源 MRSHBASE:MRS HBASE数据源 MRSHDFS:MRS HDFS数据源 MRSHIVE:MRS HIVE数据源 MRSKAFKA:MRS KAFKA数据源 MRSREDIS:MRS REDIS数据源 MRSCLICKHOUSE:MRS CLICKHOUSE数据源
数据拆分 “数据拆分”组件将传入该节点的数据按照指定的表达式进行拆分,并将拆分的结果通过节点变量传递给后续节点。通常“数据拆分”组件后续会连接“数据筛选”组件以配合使用。 “数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。
则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写IOT数据分析云服务的域名地址。