检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅当“是否使用JDBC字符串”选择“是”时需要配置。 填写DAMENG数据库的JDBC格式连接串，格式：jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码
OBS源端的CSV文件解析到关系型数据库时，列的值不对怎么办？ 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致，需修改任务配置，按照文件中列的顺序填写元数据。 父主题： 数据集成普通任务
任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景，建议使用数据复制服务DRS；对于关系型数据库、大数据、文本等数据迁移到数据湖的场景，建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式（源端）
自定义数据源开发示例（定时任务） 操作场景 FDI当前支持接入MySQL类型数据库，但因为MySQL是最常用的数据库类型，可以方便开发者参照理解，故本章节以MySQL类型自定义连接器为例进行开发，示例使用Java语言进行开发，Demo代码参考MysqlConnctor.rar。 前提条件 准备装有1
选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型，此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后，在编辑器左侧选择数据源，然后您可以在右侧的语句编辑框中为数据源添加如下执行语句，从数据库中获取当前空余车位数量。
"info":"zz"}，其中xx、yy、zz为从源端传入的数据值。 MySQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MySQL作为目标端数据源，具体配置如下。 表7 目标端MySQL信息 参数 配置说明 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。
什么是应用与数据集成平台 企业在向数字化转型的过程中会面临诸多难题：缺少统一的设备信息集成途径；数据格式多样化，难以传输和集成；缺少与合作伙伴分享数据和后端服务的便捷途径；缺少云上云下跨网络的安全信息通道。ROMA Connect是一个全栈式的应用与数据集成平台，源自华为数字化转
果写入数据时发生异常，将不会提交消费偏移量，等待修复问题后，重启任务，可以重新消费并处理未成功入库的数据。所以即使修改了任务配置，如果数据还是不符合目标端的要求，那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理： Kafka通道的topic中的数据老化时间为6小时，可以等待脏数据被清理掉后启动任务。
部署区域 填写DataArts Studio云服务实例的部署region。 登录方式 选择连接数据库模式。 租户：即以华为云账户密码的方式进行连接。 ak/sk：即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证，您可以参考访问密钥获取AK/SK。 租户名称 仅当“登
选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后，单击“测试连接”，检测ABM与数据源之间是否能够连通。
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常？ 因Oracle数据库意外重启等原因导致CDC功能异常时，可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库，然后执行以下命令： SELECT CAPTURE_NAME,status
选择实例，用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式，由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息。
{port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时需要配置。 填写数据库所使用的编码格式。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。
仅当“连接模式”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串，例如：jdbc:postgresql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名
端下载。 操作步骤 建议由数据库管理员进行CDC功能的配置操作，以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器，以sa用户登录数据库。 其中，密码为数据库用户sa的密码，可向数据库管理员获取。 单击“新建查询
参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方式请参见API参考的“附录 > 获取项目ID”章节。 表2 Query参数 参数 是否必选 参数类型 描述 include_internal 是 String 是否包含内部的实例。include_
数据。 源端为Oracle的配置与MySQL的类似，配置示例可参考MySQL配置示例。 PostgreSQL 返回页首 任务的“集成模式”为“定时”时，可以选择PostgreSQL作为源端数据源，具体配置如下。 表11 源端PostgreSQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。
难以集成设备数据与环境数据 多品牌、多种类的生产设备要实现实时监控管理，则设备数据与环境数据需要采集和上传，不同品牌和种类的设备，使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上，任何一台机器出现故障，会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到
本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外，根据Oracle数据库类型为CDB数据库还是非CDB数据库，CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表，不支持视图。 前提条件 若Oracle数据库为主从模式，不支持使用Oracle从库。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
