检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业任务启动后，每个待迁移的表都会生成一个子任务，单击整库迁移的作业名称，可查看子任务列表。 单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 整库迁移的作业没有日志，子作业才有。在子作业的历史记录界面单击“日志”，可查看作业的日志信息。 父主题： 使用教程
不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） 文件系统不支持作为目的端。
不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） 文件系统不支持作为目的端。
详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 TBL_X 自动创表 只有当源端为关
Hive HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。 对象存储 对象存储服务（OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。
详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 FROM/example.csv 文件格式
、EIP异常时会发送短信或邮件通知用户。 查看当前配置，确认无误后单击“立即购买”进入规格确认界面。 集群创建好以后不支持修改规格，如果需要使用更高规格，需要重新创建。 单击“提交”，系统开始自动创建CDM集群，在“集群管理”界面可查看创建进度。 父主题： 创建并管理CDM集群
已经创建，或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 高级属性 查询筛选 创建用于匹配文档的筛选条件，CDM只迁移符合条件的数据。例如： 按表达式对象筛选：例如{'last_name': 'Smith'}，表示查找所有“last_name”属性值为“Smith”的文档。
连接管理 创建连接 查询连接 删除连接 修改连接 父主题： API
NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） 消息系统 数据接入服务（DIS） 搜索：云搜索服务（CSS） 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） 消息系统 数据接入服务（DIS） 搜索：云搜索服务（CSS） 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
参见性能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 图3 任务配置 单击“保存并运行”，CDM立即开始执行作业。
在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 是 使用Agent Agent功能待下线，无需配置。 - local_infile字符集 mysql
连接器类型选择“MRS Hive”后单击“下一步”，配置MRS Hive连接的参数，如图2所示。 图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数，这里保持默认，必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据
连接器类型选择“MRS Hive”后单击“下一步”，配置MRS Hive连接的参数，如图2所示。 图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数，这里保持默认，必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 是 使用Agent Agent功能待下线，无需配置。 - local_infile字符集 mysql
Manager。 通过“系统 > 权限 > 用户”，选择所需用户所在行，单击“更多 > 下载认证凭据”下载认证凭据文件。 获取下载的tar包，此即为FusionInsight集群Keytab文件。 针对MRS 2.x及之前版本集群： 登录MRS服务的Manager，单击“系统设置”。在“权限配置”区域，单击“用户管理”。
Application Id”关键字，查询离报错信息最近的Yarn Application ID即可。 自主排查方式 登录yarn，根据applicationId查询到yarn任务，打开ApplicationManager。 打开stage->查看fail状态的task，通过日志或者
以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
