检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成 数据集成普通任务 数据集成组合任务
根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题: 数据集成API
前创建自定义认证。 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6位,且数值为0时,数据后端会把该数据值转换为科学计数法。因此,不建议把numeric类型数据的小数位精度设置为超过6位。
CLICKHOUSE数据源 FTP:FTP数据源 OBS:OBS数据源 ACTIVEMQ:ActiveMQ数据源 ARTEMISMQ:ArtemisMQ数据源 IBMMQ:IBM MQ数据源 KAFKA:Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写DataArts
称,进入规则详情页面。 配置规则的数据源端。 单击“数据源端”下的“创建数据源端”,增加一条数据源端配置。 配置数据源端相关信息,完成后单击“保存”。 表2 数据源端配置 参数 配置说明 产品名称 选择设备所属的产品。 设备名称 选择要转发数据的设备,可以选择指定设备或全部设备。
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务(普通任务) 创建数据集成任务(组合任务) 创建数据集成任务(编排任务) 启停数据集成任务 数据集成任务管理 连接器
数据安全中心 数据安全中心服务连接器用于对接华为云数据安全中心服务。 数据安全中心服务(Data Security Center,DSC)是新一代的云化数据安全平台,提供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力,通过资产地图整合数据安全生命周期
数据源管理 ROMA Connect支持的数据源 接入API数据源 接入ActiveMQ数据源 接入ArtemisMQ数据源 接入DB2数据源 接入DIS数据源 接入DWS数据源 接入DM数据源 接入Gauss100数据源 接入FTP数据源 接入HL7数据源 接入HANA数据源 接入HIVE数据源
”。 接入数据源。 配置ROMA Connect接入业务系统的数据库,确保可以正常从数据库读取数据。不同类型数据源的接入配置不同,此处以MySQL数据库为例,其他类型数据库请参考接入数据源。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“
IBMMQ:IBM MQ数据源 KAFKA:Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源 MONGODB:MongoDB数据源 REDIS:Redis数据源 API:API数据源 WEBSOCKET:WebSocket数据源 LDAP:LDAP数据源
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
发布数据API 在数据后端创建后,您需要发布数据后端,生成数据API并发布到环境上,才可供其他用户调用。 前提条件 每个API都要归属到某个API分组下,在发布函数API前您需要有可用的API分组,否则请提前创建API分组。 如果需要使用自定义认证方式进行API的安全认证,请提前创建前端自定义认证。
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完
数据集成普通任务 FDI各类数据库支持哪些数据类型? 跟踪号是什么,能跟踪到数据吗? FDI任务是否支持清空目标表? FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到
指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径中,不包含数据根字段的路径部分,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明:
表2 数据源配置 参数 配置说明 选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型,此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 配置Mapping信息 在创建任务页面中配置Mapping信息,有自动配置和手动配置两种方式。