检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据直接导入到DLI中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求，在DLI控制台中开发相应的SQL脚本进行贸易统计分析。
产。该功能要求表信息中含有数据源信息。 创建质量作业：当关系建模或维度建模中的表发布并通过审核后，对于关联数据标准（包含数据长度或允许值）或关联质量规则的表，系统将自动在DataArts Studio数据质量模块中创建一个质量作业。 创建数据开发作业：汇总表发布后，自动生成端到端的全流程数据开发作业。
中指定字段是否与参考字段一致。 系统内置的规则模板不可编辑和查看发布历史。 当系统内置规则模板不足以满足您的需求，您可根据实际需要创建规则。目前创建规则的方式包括自定义模板和自定义规则： 自定义规则模板是很多用户可能都要使用的数据，不能随意进行修改，开发者只有查询权限，如果要修改规则模板，请联系管理员进行修改。
age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”，则启用事务模式迁移，CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中，导入失败则将目的表回滚到作业开始之前的状态，具体请参见事务模式迁移。
例如上图表示：从2023年1月1日0点开始，每月5日、25日的0点自动执行作业，直到2023年12月31日23时59分不再自动执行。 父主题： 在CDM集群中创建作业
Hive迁移作业长时间卡顿怎么办？ 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？ MySQL迁移时报错“JDBC连接超时”怎么办？ 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 如何处理CDM从OB
age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”，则启用事务模式迁移，CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中，导入失败则将目的表回滚到作业开始之前的状态，具体请参见事务模式迁移。
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建SAP HANA类型的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 数据集成配置 数据库名称 是 要连接的数据库。 单次请求行数 否 指定单次请求获取的行数。默认1000。
FTP、SFTP 支持 不支持 关系型数据库 RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP HANA)、GBASE8A 说明： 创建数据连接时也支持用户使用自建的数据库，如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP
UPSERT：数据存在则更新，不存在则新增。 INSERT 高级属性 先导入阶段表 如果选择“是”，则启用事务模式迁移，CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中，导入失败则将目的表回滚到作业开始之前的状态，具体请参见事务模式迁移。
目的连接名称：选择创建云搜索服务连接中的“csslink”。 索引：待写入数据的Elasticsearch索引，也可以输入一个新的索引，CDM会自动在云搜索服务中创建。 类型：待写入数据的Elasticsearch类型，可输入新的类型，CDM支持在目的端自动创建类型。 高级属性里的可选参数一般情况下保持默认即可。
导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用
仅支持同步有主键表。 不支持同步视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束和唯一索引。 不支持同步无日志表（UNLOGGED TABLE）、临时表、系统模式和系统表。 自动建表支持同步表结构、普通索引、约束（主键、空、非空）、注释。 注意事项 除了数据源版本、连接账号权限及同步对
明文档进行配置。 常见配置举例如下： socketTimeout：配置JDBC连接超时时间，单位为毫秒。 mysql.bool.type.transform：配置mysql读取时，是否将tinyint(1)解析成boolean类型，默认为true。 socketTimeout=300
明文档进行配置。 常见配置举例如下： socketTimeout：配置JDBC连接超时时间，单位为毫秒。 mysql.bool.type.transform：配置mysql读取时，是否将tinyint(1)解析成boolean类型，默认为true。 - 连接私密属性 可选参数，单击“显示高级属性”后显示。
CDM上创建MySQL连接时输入这个地址和端口）。 映射地址、映射端口：配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”，添加端口映射关系。 单击“开始映射”，这时才会真正开始映射，接收数据包。 至此，就可以在CDM上通过弹性IP读取本地内网MySQL的数据，然后导入到云服务DWS中。
后端策略数量 每个用户最多创建5个后端策略。 √ 应用数量 每个用户最多创建50个应用。应用配额包括用户自行创建的应用和API市场购买API生成的应用。 √ 流控策略数量 每个用户最多创建30个流控策略。 用户流量限制不超过API流量限制。 应用流量限制不超过用户流量限制。 源IP流量限制不超过API流量限制。
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
绑定Agent 是 CDM集群提供了DataArts Studio与GBASE通信的代理。创建GBASE类型的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为20
任务性能调优 性能调优概述 作业任务参数调优 MySQL到MRS Hudi参数调优 MySQL到DWS参数调优 MySQL到DMS Kafka参数调优 DMS Kafka到OBS参数调优 Apache Kafka到MRS Kafka参数调优 SQLServer到MRS Hudi参数调优
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
