检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、实施、验证、发布等阶段）指导用户使用DataArts Studio开展数据治理工作；功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。 数据治理方法论还有完全版本，详细描述了流程落地和功能落地内容。欢迎您通过《华为数据之道》图书进行深入了解，或进行服务咨询。
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
CDM有哪些优势？ 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。
配置流程 测试联通性 > 启用细粒度认证 配置账号映射策略 > 测试账号映射联通性 > 启用账号映射 影响的操作 数据开发操作： 开发态细粒度认证：脚本执行和作业测试运行 调度态细粒度认证：脚本执行、作业测试运行和作业调度 数据开发操作： 开发态账号映射：脚本执行和作业测试运行 目标认证鉴权身份
助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 图1 数据集成 数据集成提供全向
了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架，指导各领域进行分类管理。华为信息架构框架，通过政策发文明确信息架构的定义和构成要素，在公司层面建立统一的架构方法。基于ISO8000标准，华为建立了数据质量管理框架和运作机制，每年例行开展两次公司级数据质量度量，从“设计
启用细粒度认证后才能生效。 DWS连接联通性测试约束如下： 联通性测试时，系统会使用当前用户账号访问数据源，以确保正常访问。但由于DWS数据源不支持以华为账号直接访问，如果登录账号为华为账号，联通性测试会失败。因此，在DWS联通性测试前，需要先完成用户同步，再将当前登录账号切换为IAM子用户账号，且至少具有DWS
模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格，2.9.1 200版本。 性能测试中，表数据规格为5000W行100列，HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。
Access权限。 解决方案 您可以通过同步用户重新将当前登录用户同步到DWS数据源，然后为其授予DWS Database Access权限，再次进行联通性测试。 父主题： 数据安全
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶，不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台，登录DataArts
共享版默认发布到API网关共享版。发布成功后，您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名，此调试域名唯一且不可更改，此调试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格，可以在APIG共享版控制
数据中，单击“测试运行”，然后在节点上右键查看日志，日志中会把EL表达式的值打印出来。 使用Kafka Client节点。 前提：您需要具备MRS集群，且集群有Kafka组件。 方法：选择Kafka Client节点，将EL表达式直接写在要发送的数据中，单击“测试运行”，然后在节
区的全球化公司的“总账”算清楚可真不容易。要做到财报的高效、准确、完整，离不开高度集成的全球结账管理系统，更离不开数据治理，通过交易核算自动化、ERP优化、数据调度优化、数据质量监控以及提升数据分析平台的性能，华为实现了全球核算实时可视，过程可跟踪、可管理。 图1 华为数据治理实践
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群，由于规格限制，仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面：
通过API工具调用无认证方式的API 无认证方式的API可以通过API工具直接调用，无需获取认证信息。 无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。 本章节以Postma
ala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 MapReduce服务（MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Had
配置完成后单击“确定”。 已被绑定脱敏算法的分类规则不支持被重复绑定。 图1 新建脱敏 适配脱敏算法后，支持用户在线进行测试。输入测试数据，单击“测试”，在测试结果文本框中进行验证。 开启或关闭状态，只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 在DataArts Stu
*数据库 下拉选择存放水印表的数据库。 *目标表名 用户手动输入，不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”，否则将无法进行下一步操作。 图4 源、目标端配置 单击“下一步”，进行调度信息配置。 数据集范围为全量模式时，仅支持单次调度。 数据集
表达式#{Loop.dataArray[0][0]}。 图9 For Each节点属性 配置完成后保存作业。 测试运行主作业 单击主作业画布上方的“测试运行”按钮，测试作业运行情况。主作业运行后，会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”，进入实例监控中查看作业运行结果。
实例内的工作空间包含了完整的功能，工作空间的划分通常按照分子公司（集团、子公司、部门等）、业务领域（采购、生产、销售等）或者实施环境（开发、测试、生产等），没有特定的划分要求。 随着业务的不断发展，您可能进行了更细致的工作空间划分。这种情况下，您可以参考本文档，将原有工作空间的数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
