检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口，一般是数据源提供的对外接口，例如JDBC、原生API等，因此在开发脚本时需要依赖大量的库、SDK等，开发管理成本较高。 CDM提供了Web化的管理控制台，通过Web页实时开通服务。
数据质量：数据质量组件中的质量作业和对账作业功能，不支持对接MRS集群存算分离的场景。 数据源简介 表2 数据源简介 数据源类型 简介 数据仓库服务（DWS） 华为云DWS是基于Shared-nothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时
则需要使用账号给当前用户添加“查看委托列表”的权限。 先创建自定义策略（查询指定条件下的委托列表），再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面，鼠标移动至右上方的账号名，在下拉列表中选择“统一身份认证”。 在左侧导航窗格中，单击“角色授权”>“创建自定义策略”。
通过数据管理，您可以： 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。 单击可以查看数据连接目录树下的数据库、数据表以及字段信息。DWS
全组放通资源组的网段访问对应端口，那么具体需要放通哪些端口？ 解决方案 对于不同的数据源其使用的端口也不尽相同，具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况，仅供参考。 表1 数据源使用端口概览 数据源 涉及端口 MySQL 3306 DWS 8000
删除审核人 Y N N N 操作审核人 Y Y Y N 查询审核人 Y Y Y N 新建API Y Y N N 删除API Y Y N N 操作API Y Y Y N 查询API Y Y Y Y 编辑API Y Y N N 查询数据源 Y Y N N 查询总览 Y Y Y Y 数据安全 权限点
本地IDC自建数据库需要添加Migration资源组VPC网段（例如172.16.0.0/19）访问数据库的权限。各类型数据库添加白名单的方法不同，具体方法请参考各数据库官方文档进行操作。 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 （可选）本地IDC添加路由。
本地IDC自建数据库需要添加Migration资源组VPC网段（例如172.16.0.0/19）访问数据库的权限。各类型数据库添加白名单的方法不同，具体方法请参考各数据库官方文档进行操作。 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 （可选）本地IDC配置VPN对端网关设备。
具体可参见FusionInsight文档。 Apache集群 Apache HDFS Apache HBase Apache Hive Apache集群场景下，此处仅说明需要哪些配置文件与打包原则，各配置文件的具体获取方式请参见对应版本说明文档。 HDFS需要将以下文件压缩为无目录格式的zip包：
DIS所在的区域。 - 终端节点 待连接DIS的URL，URL一般格式为：https://Endpoint。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 - 访问标识(AK) 登录DIS服务器的访问标识。
数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 数据连接为MRS API连接时支持为Spark SQL作业独立配置需要的资源（例如线程、内存、CPU核数并指定MRS资源队列等）。代理连接时不支持配置。 您需要先
COLLECTION 高级属性 查询筛选 创建用于匹配文档的筛选条件，CDM只迁移符合条件的数据。例如： 按表达式对象筛选：例如{'last_name': 'Smith'}，表示查找所有“last_name”属性值为“Smith”的文档。 按参数选项筛选：例如{ x : "john" }
MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 是 使用Agent Agent功能待下线，无需配置。
可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 sslmode=require 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 父主题： 配置连接参数
StringUtil内部是由org.apache.commons.lang3.StringUtils实现的，具体使用方法请参考apache commons文档。 举例1 假设变量a为字符串No.0010，返回“.”后面的子字符串，EL表达式如下： #{StringUtil.substringAfter(a
数据质量组件：质量作业和对账作业。 数据目录组件：技术资产中的表（Table）和文件（File）类型资产，以及元数据采集任务。 数据服务组件：数据服务集群，API和APP。 数据安全组件：敏感数据发现任务，脱敏策略，静态脱敏任务和数据水印任务。 如果当前任意组件内还有业务资源，则删除工作空间会弹出失败提示窗口，无法删除。
）或者实施环境（开发、测试、生产等），没有特定的划分要求。 随着业务的不断发展，您可能进行了更细致的工作空间划分。这种情况下，您可以参考本文档，将原有工作空间的数据（包含管理中心数据连接、数据集成连接和作业、数据架构表、数据开发脚本、数据开发作业、数据质量作业等），搬迁到新建的工作空间中。
指标、衍生指标、复合指标和汇总表，不包含事实表。 数据目录组件中创建的元数据采集任务，以及定义的元数据分类和标签。 数据服务组件中发布的API。 约束与限制 对于数据目录组件中名称相同的元数据采集任务、元数据分类和标签，不支持被重复迁移。 待导入的资源应为通过导出获取的zip文件，导入时系统会进行资源校验。
在排除目的端负载的情况下，加大作业并发，以提高写入速度。 如果第2步也无法有效提升性能，请根据源端抽取慢排查源端的性能因素。 如果排除了源端问题的情况下，请参考对应链路性能调优文档尝试进行参数优化。 如果上述步骤仍然无法提升作业速度，请联系技术支持人员协助解决。 源端抽取慢 检查源端负载是否已到达源端数据源上限。优先
Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 - 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 驱动版本 不同类型的关系数据库，需要适配不同的驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
