检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？ 如果是采集同一个文件，每次在OBS上更新文件，目标端数据库有主键情况下，每次会根据主键更新数据。 如果是采集多个文件，目标端数据库有主键且主键相同的情况下，每次都会更新成时间最早的文件里的值，即数据内容没有变化
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ，需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后，单击“测试连接”，检测ABM与数据源之间是否能够连通。
填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时需要配置。 填写数据库所使用的编码格式。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例： 图1 默认方式配置示例 专业方式的数据库连接配置示例：
Studio云服务实例的instanceId。 部署区域 填写DataArts Studio云服务实例的部署region。 登录方式 选择连接数据库模式。 租户：即以华为云账户密码的方式进行连接。 ak/sk：即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证，您可以参考访问密钥获取AK/SK。
自定义数据源开发示例（定时任务） 操作场景 FDI当前支持接入MySQL类型数据库，但因为MySQL是最常用的数据库类型，可以方便开发者参照理解，故本章节以MySQL类型自定义连接器为例进行开发，示例使用Java语言进行开发，Demo代码参考MysqlConnctor.rar。 前提条件 准备装有1
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常？ 因Oracle数据库意外重启等原因导致CDC功能异常时，可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库，然后执行以下命令： SELECT CAPTURE_NAME,status
选择实例，用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式，由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息。
仅当“连接模式”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串，例如：jdbc:postgresql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名
难以集成设备数据与环境数据 多品牌、多种类的生产设备要实现实时监控管理，则设备数据与环境数据需要采集和上传，不同品牌和种类的设备，使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上，任何一台机器出现故障，会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到
端下载。 操作步骤 建议由数据库管理员进行CDC功能的配置操作，以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器，以sa用户登录数据库。 其中，密码为数据库用户sa的密码，可向数据库管理员获取。 单击“新建查询
下载资产包 功能介绍 导出作业执行成功后，通过该接口获取导出作业产生的资产包，仅能下载一次。 可先压缩后存在数据库，下载后删除。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
若数据源分组选择BIGDATA，即可选HIVE/FIHIVE；若数据源分组选择DB，即可选MYSQL/GAUSSDB/GAUSSDB_T/ORACLE/SQLSERVER/POSTGRESQL/DAMENG；若数据源组选择FILE，即可选EXCEL/SWAGGER/FILE_SYSTEM
数据。 源端为Oracle的配置与MySQL的类似，配置示例可参考MySQL配置示例。 PostgreSQL 返回页首 任务的“集成模式”为“定时”时，可以选择PostgreSQL作为源端数据源，具体配置如下。 表11 源端PostgreSQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题： 创建并开放数据API
连接与安全 选择数据库的连接模式。本实践选择默认模式。 默认：由系统根据用户配置自动拼接数据源连接字符串。 专业：由用户自己输入数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 pdb数据库名 填写要连接的pdb数据库名。
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符： alter table 表名set serdeproperties('field.delim'='分隔符') 父主题： 数据集成任务
要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外，根据Oracle数据库类型为CDB数据库还是非CDB数据库，CDC的配置有所不同。 约束与限制 Oracle数据库需具备OGG License（无需安装OGG）。 若Oracle数据库为主从模式，不支持使用Oracle从库。
章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外，根据Oracle数据库类型为CDB数据库还是非CDB数据库，CDC的配置有所不同。 约束与限制 CDC任务当前仅支持采集数据库物理表，不支持视图。 若Oracle数据库为主从模式，不支持使用Oracle从库。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
