检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移，本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务，以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。
构成，为同一种应用拥有的资源实例设置统一的标签将很容易帮助您对不同的应用进行使用量分析和成本核算。 对CDM来说，标签用于标识购买的集群，以此来达到对购买的CDM集群进行分类的目的。当为集群添加标签时，该集群上所有请求产生的计费话单里都会带上这些标签，从而可以针对话单报表做分类筛
集成的效率。 什么是云数据迁移 产品优势 迁移原理 支持的数据源 已发布区域：全部 集群管理 使用云数据迁移服务的首要操作就是购买集群，您可以根据需求购买不同规格集群，满足您快速创建集群、绑定集群EIP、重启集群、修改集群消息通知及用户隔离等需求。 创建集群 解绑/绑定集群的EIP
Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。 如果您需要再创建新的CDM集群，请参考购买批量数据迁移增量包章节，完成购买数据集成增量包的操作。 集群规格选择“cdm.xlarge”。 集群所属的VPC与
规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。关于如何调整抽取并发数，详情请参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。
项目为单位进行授权，用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中购买资源，然后以子项目为单位进行授权，使得用户仅能访问特定子项目中资源，使得资源的权限控制更加精确。 图1 项目隔离模型 父主题： 使用前必读
数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议
可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库，需要适配不同的驱动，更多详情请参见如何获取驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。
如果通过DataArts Studio数据开发使用参数传递并调度CDM迁移作业时，不能在CDM迁移作业中配置“作业失败重试”参数，如有需要请在数据开发中的CDM节点配置“失败重试”参数。 不重试 作业分组 选择作业的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库，需要适配不同的驱动，更多详情请参见如何获取驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。
转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法和Java的字符串和时间格式函数非常相似，可以查看表达式转换了解如何编写表达式。 本例中源时间格式是“yyyy/MM/dd HH:mm:ss”，要将其转换成“yyyy-MM-dd HH:mm:ss.SSS Z”，需要经过如下几步：
贸易统计数据库，其数据广泛应用于产业研究、行业研究、国际贸易促进等方面。 在这之前，H公司采用其自建的大数据集群，并安排专人维护，每年固定购买电信联通双线专用带宽，在机房、电力、专网、服务器、运维方面进行高额投入，但其在面对客户不断变化的业务诉求时，因为人员投入不足，大数据集群能
可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库，需要适配不同的驱动，更多详情请参见如何获取驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。
安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。
已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器（可选）。 如何获取驱动 不同类型的关系数据库，需要适配不同类型的驱动。注意，上传的驱动版本不必与待连接的数据库版本相匹配，直接参考表1获取建议版本的JDK8
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
