检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Success，返回data数据是带有子目录的目录。 { "data" : { "value" : [ { "name" : "付款方式", "description" : null, "type" : "STANDARD_ELEMENT",
网络连通性检测异常可先参考数据源和资源组网络不通如何排查？章节进行排查。 配置源端参数。 各同步场景下选择需要同步库表的方式请参考表5。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的MySQL库表。 图5 选择库表 库与表均支持自定义选择，即可选择一库一表，也可选择多库多表。
产品功能 数据集成：多种方式异构数据源高效接入 数据集成提供30+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成基于分布式计算框架，利用并行化处理技术，支持用户稳定
在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“Hive sql及Spark sql执行方式”配置项。 配置Hive SQL及Spark SQL的执行方式。 SQL语句放置在OBS中：执行Hive SQL及Spark SQL语句时，把SQL语句放在OBS中，将OBS路径返回给MRS。
CDM是否支持参数或者变量？ CDM迁移作业的抽取并发数应该如何设置？ CDM是否支持动态数据实时迁移功能？ CDM是否支持集群关机功能？ 如何使用表达式方式获取当前时间？ 日志提示解析日期格式失败时怎么处理？ 字段映射界面无法显示所有列怎么处理？ CDM迁移数据到DWS时如何选取分布列？ 迁移到DWS时出现value
x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移的方式无法使用。 使用命令恢复历史不变的数据 这里以恢复“/hbase/data/default/table_20180811”表为例，恢复步骤如下：
"false"} 方法2 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 单击作业画布右侧“调度配置”页签，进入调度配置页面。 调度方式选择“周期调度”，调度周期选择“月”，选择时间为“每月最后一天”，如下图所示。 图4 调度时间为每月最后一天 调度时间配置好之后，在每个月
指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 10000 SSL加密 可选参数，控制是否通过SSL加密方式连接数据仓库。 是 说明： 启用SSL加密需确保DWS本身已启用SSL加密。 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDB
击“风格配置”，可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”，在“编辑器配置”里面可以对SQL查询结果展示进行配置。 企业模式下，支持从脚本开发界面快速前往发布。鼠标放置在上，单击“前往发布”，进入待发布任务界面。
文件中的换行符，默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符，如空格回车需使用URL编码后的值。或通过编辑作业json方式配置，无需URL编码。 fromJobConfig.columnList 否 String 需要抽取的列号，列号之间使用“&”分割，并由小到大排序，例如：“1&3&5”。
"false"} 方法2 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 单击作业画布右侧“调度配置”页签，进入调度配置页面。 调度方式选择“周期调度”，调度周期选择“月”，选择时间为“每月最后一天”，如下图所示。 图4 调度时间为每月最后一天 调度时间配置好之后，在每个月
修改。 作业编排完成后，单击，测试运行作业。 如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/01/01至2021/01/25，每天2点调度一次作业。 最后我们需要提交版本，执行调度作业，实现作业每天自动运行。
量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH：采用这种分布方式，需要为用户表指定一个分布列（distribute
如需用于数据迁移作业，请购买更高规格的批量数据迁移增量包，详情请参考购买批量数据迁移增量包。 计费方式 包年包月 当前DataArts Studio基础包仅支持包年包月计费方式。 实例名称 DataArts Studio-test 自定义DataArts Studio实例名称。实例名称不支持修改，请提前合理规划。
如需用于数据迁移作业，请购买更高规格的批量数据迁移增量包，详情请参考购买批量数据迁移增量包。 计费方式 包年包月 当前DataArts Studio基础包仅支持包年包月计费方式。 实例名称 DataArts Studio-test 自定义DataArts Studio实例名称。实例名称不支持修改，请提前合理规划。
基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开，即只能通过SSL方式进行通信。 开关关闭，SSL通道加密和证书认证两种方式均可进行通信。 手动 是 选择连接模式。 使用集群名模式时，通过选择已有集群名称进行连接配置。
名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 说明： 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 选择数据库名称，该数据库已创建好，建议不要使用默认数据库。
修改。 作业编排完成后，单击，测试运行作业。 如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。 图3 配置调度方式 说明： 2021/08/06至2021/08/31，每天2点执行一次作业。 单击“提交”，执行调度作业，实现作业每天自动运行。 父主题：
清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 约束冲突处理 导入数据到云数据库 MySQL且当迁移数据出现冲突时的处理方式。 insert into：当存在主键、唯一性索引冲突时，数据无法写入并将以脏数据的形式存在。 replace into：当存在主键、唯一
否 Long 告警通知时间。 job_name 否 String 作业名称。 schedule_type 否 Integer 作业实例调度方式。取值范围如下： 0：正常调度 2：手工调度 5：补数据 6：子作业调度 7：单次调度 send_msg 否 String 发送信息。 plan_time
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
