检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
置过大或过小，可能影响作业的时长。 1000 连接属性 自定义连接属性。可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： socketTimeout：配置JDBC连接超时时间，单位为毫秒。 mysql
驱动管理”页面，上传了Oracle数据库驱动。 创建CDM集群并绑定EIP 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。 关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm
K。 已经购买了MRS。 拥有EIP配额。 创建CDM集群并绑定EIP 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。 关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm
配置Hive源端参数 支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD
单击“新增任务”，在弹出的对话框中，配置相关参数，新建采集任务。 新建任务有如图2所示的两个入口。 图2 新建采集任务入口 配置基本参数，参考表1。 表1 基本配置说明 参数名 说明 任务名称 采集任务的名称，只能包含中文、英文字母、数字和下划线，且长度不能超过62个字符。 描述
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可以进入O
> 下线”，系统弹出“提交下线”对话框。 在下拉菜单中选择审核人。 单击“确认提交”。 汇总表下线后，API的如何处理由客户在数据服务中根据实际情况决定，数据架构侧不会对API做任何处理。 关联质量规则 在汇总表列表中，勾选所需要关联质量规则的汇总表，在上方单击“关联质量规则”，弹出“关联质量规则”对话框。
将查询到的表数据与给源数据表插入数据步骤中的数据进行对比，可以发现数据插入符合预期。 图9 目的表数据 更多案例参考 For Each节点可与其他节点配合，实现更丰富的功能。您可以参考以下案例，了解For Each节点的更多用法。 通过CDM节点批量创建分表迁移作业 根据前一个节点的输出结果进行IF条件判断
将查询到的表数据与给源数据表插入数据步骤中的数据进行对比，可以发现数据插入符合预期。 图9 目的表数据 更多案例参考 For Each节点可与其他节点配合，实现更丰富的功能。您可以参考以下案例，了解For Each节点的更多用法。 通过CDM节点批量创建分表迁移作业 根据前一个节点的输出结果进行IF条件判断
据服务专享集群增量包，系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台，提供了快速将数据表生成数据API的能力，帮助您简单、快速、低成本、低风险地实现数据开放。 数据服务当前提供共享版与专享版两种服务方式，差异请参见共享版与专享版数据服务的对
snapshot/s0 目的端“写入目录”输入：/hbase/data/default/表名 执行fixMeta和fixAssignments等命令恢复表，参考使用命令恢复历史不变的数据。 在CDH集群中删除快照： hdfs dfs -deleteSnapshot <snapshotDir> s0
务场景。通过业务场景的运行结果，可以判断业务指标是否满足质量规则。本例通过监控出租车一天的运营收入，对于当天收入低于500进行预警。具体请参考如下步骤： 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择“业务指标监控 > 指标管理”。
ON文件，作用等同于修改作业的参数配置。 配置定时任务：选择作业操作列的“更多 > 配置定时任务”，可选择在有效期内周期性启动作业，具体请参考配置CDM作业定时任务。 日志：选择作业操作列的“更多 > 日志”，可查看该作业最近的一次日志。 也可以在历史记录界面可查看作业所有的日志。
0及之后版本，则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接；如果需要对MRS组件的库、表、列进行操作，还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本，或MRS集群为3.1.0之前的版本，则所创建的用户需要
”。在后续开发并调度作业引用该脚本。 脚本保存完成且运行成功后，您可通过如下SQL语句查看top_rating_movie表数据。您还可以参考图3，下载或转储表数据。 SET SEARCH_PATH TO dgc; SELECT * FROM top_rating_movie 图3
aes128-sha1”，并且集群中包含所需要的组件。 在创建数据连接前，请确保您已具备连接所需的Agent代理（即CDM集群，如果无可用CDM集群请参考创建CDM集群进行创建），且待连接的数据湖与CDM集群之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络。请确保数据
CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输安全。用
0及之后版本，则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接；如果需要对MRS组件的库、表、列进行操作，还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本，或MRS集群为3.1.0之前的版本，则所创建的用户需要
敏感数据管控页面的策略列表中，已有数据安全预置的默认策略，该策略默认给所有用户最大的密级访问权限。 图1 进入敏感数据管控页面 单击“新建”，新建密级权限管控策略页面，参数配置参考表1。 图2 新建密级权限管控策略参数配置 创建密级权限管控策略参数配置说明： 表1 配置策略参数 参数名 参数说明 *用户类型 选择为用户或用户组进行密级权限管控。
来，仅在需要的时候再重新创建集群和重新导入作业。 批量创建作业任务：可以先手工创建一个作业，导出作业配置（导出的文件为JSON格式），然后参考该作业配置，在JSON文件中批量复制出更多作业，最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
