检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 前提条件 Oracle数据库需具备OGG License(无需安装OGG)。 若Oracle数据库为主从模式,不支持使用Oracle从库。
C模式,本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表,不支持视图。 前提条件 若Oracle数据库为主从模式,不支持使用Oracle从库。
任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内,所以部分数据采集不到。 解决方案 调整源端数据库的updatet
Studio云服务实例的instanceId。 部署区域 填写DataArts Studio云服务实例的部署region。 登录方式 选择连接数据库模式。 租户:即以华为云账户密码的方式进行连接。 ak/sk:即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。
自定义数据源开发示例(定时任务) 操作场景 FDI当前支持接入MySQL类型数据库,但因为MySQL是最常用的数据库类型,可以方便开发者参照理解,故本章节以MySQL类型自定义连接器为例进行开发,示例使用Java语言进行开发,Demo代码参考MysqlConnctor.rar。 前提条件
下载资产包 功能介绍 导出作业执行成功后,通过该接口获取导出作业产生的资产包,仅能下载一次。 可先压缩后存在数据库,下载后删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
难以集成设备数据与环境数据 多品牌、多种类的生产设备要实现实时监控管理,则设备数据与环境数据需要采集和上传,不同品牌和种类的设备,使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上,任何一台机器出现故障,会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到
您可以按照业务场景创建简单易懂的业务架构和对应适配器,用于在模型目录中生成对应的业务模型管理页面,进行业务模型的录入。其次,您可以通过信息架构创建关系型数据库、非关系型数据库、开放API等底层技术架构,用于技术模型的采集工作。 前提条件 已准备好需要接入的数据源信息。 操作步骤 登录ROMA Conne
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
之间灵活、快速、无侵入式的数据集成和转换,为业务系统之间建立有效的数据连接。 本章节介绍如何通过ROMA Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。
填写MYSQL数据库的JDBC格式连接串,格式:jdbc:mysql://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的MYSQL数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成
任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端)
配置源端数据信息 概述 本节主要介绍编排任务连接后的连接配置。提供了编排任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据,包括数据源、数据格式、数据范围等。对于不同的数据源类型,其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型
Connect提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型,此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加如下执行语句,从数据库中获取当前空余车位数量。
如何调用API 构造请求 认证鉴权 返回结果
Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
构造请求 本节介绍REST API请求的组成,并以调用IAM的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 请求URI 请求URI由如下部分组成。 {URI-scheme}://{Endpoint}/{resource-path}
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API
连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 数据库地址列表 仅当“连接模式”选择“多地址”时需要配置。 填写分布式数据库系统的连接地址和端口号,单击“添加地址”添加多个地址和端口号。