检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
CDM是否支持批量创建作业？ 解决方案 CDM可以通过批量导入的功能，实现批量创建作业，方法如下： 手动创建一个作业。 导出作业，将作业的JSON文件保存到本地。 编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群，实现批量创建作业。 您也可以参考通过C
上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样
Hive迁移作业长时间卡顿怎么办？ 问题描述 Hive迁移作业长时间卡顿怎么办？ 解决方案 为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置： 属性名称：hive.server2.idle.operation.timeout 值：10m 如图所示： 父主题：
航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见：创建自定义策略。本章为您介绍常用的CDM自定义策略样例。 CDM自定义策略样例
于一次全量写入场景。 微批模式为异步分批写入Hoodie，适用于对入库时间SLA要求较为严格的场景，以及对资源消耗较小，对MOR表存储类型在线进行压缩的场景。 说明： 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时，使用微批模式呈现此参数。
新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS
配置CDM作业消息体 编辑“CDM作业消息体”。 由于源表有三个，分别为mail001、mail002、mail003，因此需要将作业JSON中的“fromJobConfig.tableName”属性值配置为“mail${num}”，即源表名是通过参数配置。如下图所示： 图7 编辑JSON
由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 在本地编辑JSON文件，将“Add password here”替换为对应连接的正确密码。 将编辑好的JSON文件批量导入到CDM集群2，实现集群1和集群2之间的作业同步。 父主题： 功能类
连接信息 单击“连接管理”，在“操作”列中，单击“连接”进行编辑。 图3 连接 打开高级属性，在“连接属性”中建议新增“connectTimeout”与“socketTimeout”参数及参数值，单击“保存”。 图4 编辑高级属性 父主题： 故障处理类
“创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 单击集群名称后，选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”，通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键（key）的最大长度为36个字
单击“导入”，选择JSON格式的文件导入或文本导入。 文件导入：待导入的作业文件必须为JSON格式（大小不超过1M）。如果待导入的作业文件是之前从CDM中导出的，则导入前必须先编辑JSON文件，将“Add password here”替换为对应连接的正确密码，再执行导入操作。 文本导入：无法正确上传本地JSON文件时
连接。 编辑作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置。 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表，可对单个作业执行如下操作： 修改作业参数：单击作业操作列的“编辑”可修改作业参数。
content images state 在CDM的作业管理界面，找到HBase到DWS的作业，选择作业后面的“更多 > 编辑作业JSON”。 在CDM界面编辑作业的JSON文件。 修改源端的“fromJobConfig.columns”参数，配置为1获取的HBase的字段，列号之
删除：支持删除未被任何作业使用的连接，也支持批量删除连接。 编辑：支持修改已创建好的连接参数，但不支持重新选择连接器。修改连接时，需要重新输入数据源的登录密码。 测试连通性：支持直接测试已保存连接的连通性。 查看连接JSON：以JSON文件格式查看连接参数的配置。 编辑连接JSON：以直接修改JSON文件的方式，修改连接参数。
云搜索服务（CSS）连接参数说明 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash
即可通过API接口对CDM进行相关操作。 本文介绍了如何在API Explorer通过CDM API在线生成SDK代码，以及如何获取CDM服务的SDK包地址和参考文档。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。
通过增大jdbc连接超时时间的控制，重新迁移作业。 通过作业配置中的源端和目标端连接名称，进入到cdm作业管理—>连接管理，找到该连接器名称。 编辑连接器，显示高级属性—>连接属性—>添加：属性名称socketTimeout 值：36000（单位为秒），测试连接，保存。 重新启动作业，等待迁移任务执行成功。
15:15:46”，则CDM作业会执行失败，日志提示无法解析日期格式。需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前
这个问题，可以通过将目的端作业参数“扩大字符字段长度”选择“是”来解决，选择此选项后，再创建目的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业，目的端作业配置下“自动创表”选择“不存在时创建”，则高级属性下面会出现参数“扩大字符字段长度”，配置该参数为“是”即可，如图2所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
