检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群，由于规格限制，仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面：
DataArts Studio配置数据搬迁简介 实例内的工作空间包含了完整的功能，工作空间的划分通常按照分子公司（集团、子公司、部门等）、业务领域（采购、生产、销售等）或者实施环境（开发、测试、生产等），没有特定的划分要求。 随着业务的不断发展，您可能进行了更细致的工作空间划分。
Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。
通过浏览器调用无认证方式的API 当无认证方式的API入参位置在Query或Path时，支持直接通过浏览器调用。 无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。 本章节以C
管理脱敏算法 为了方便对数据进行脱敏，在创建脱敏策略前，需要您准备好脱敏算法。当前系统已内置20+脱敏算法，如果内置算法可以满足您的需求，您需要提前配置对应算法参数；否则，您可以新建脱敏算法。 本章主要介绍内置脱敏算法，和如何新建脱敏算法。 约束与限制 新建随机脱敏或字符替换类型
和实际物理数据的一致）。主数据管理首先进行企业主数据的识别，然后对已识别主数据按照主数据规范要求进行数据治理和IT改造，以支撑企业业务流和工具链的打通和串联。 管理中心 数据治理的开展离不开组织、流程和政策的建设，管理中心也管理着数据治理过程中公共核心的统一数据源、数据驾驶舱等，满足不同角色的用户拥有个性化的工作台。
SDK使用前准备 下载SDK，并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。 进行SDK包完整性校验
使用API时，每个子域名每天可以访问多少次？ 每个子域名的访问次数限制与API发布到的目标有关。 共享版默认发布到API网关共享版。发布成功后，您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名，此调试域名唯
企业模式业务流程 当前DataArts Studio企业模式，主要涉及管理中心和数据开发组件，业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员：管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者：
方式的MRS Spark数据连接适用于数据治理场景。 为保证数据开发场景下，支持为每个Spark SQL作业独立配置需要的资源（例如线程、内存、CPU核数并指定MRS资源队列等），连接方式需要配置为“MRS API连接”。注意，代理连接不支持为每个Spark SQL作业独立配置资源。
通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移 通过CDM节点批量创建分表迁移作业 06 SDK&API DataArts Studio软件开发工具包（SDK）是对DataArts Studio提供的REST API进行的Java，Python等封装，以简化用户的开发工作。 API文档
购买并管理专享版集群 如果您对服务的性能需求不大，可使用共享版数据服务，直接进行新建数据服务审核人，而无需单独购买专享版实例。 本小节指导您顺利购买专享版实例，实例创建完成后，才能在数据服务专享版创建API并对外提供服务。 如果需要创建、删除专享版集群或修改API配额，则需具备以下权限之一的账号才能进行操作：
实例监控 作业每次运行，都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏，选择 “运维调度”，进入实例监控列表页面，用户可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。 实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”
SQL作业 编辑1中创建的Flink SQL作业，在SQL编辑器中输入语句。 图8 编辑Flink SQL作业 SQL语句实现的功能： DIS通过工具上传实时数据至DLI，使用1中创建的“dis-alarm-input”通道。 判断告警级别，当告警级别达到指定值时向用户发送短信通知。 D
迁移到MRS Hive3.1 - 数据的迁移周期：天、小时、分钟还是实时迁移 天 - 数据源与目的数据源之间的网络带宽 100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移，调研表的个数，最大表的规模 本示例不涉及，本示例需要从OBS文件迁移到数据库 了解数
上传存量数据 使用华为云专线，搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶，并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。
基础操作符 EL表达式支持大部分Java提供的算术和逻辑操作符。 操作符列表 表1 基础操作符 操作符 描述 . 访问一个Bean属性或者一个映射条目 [] 访问一个数组或者链表的元素 () 组织一个子表达式以改变优先级 + 加 - 减或负 * 乘 / 或 div 除 % 或 mod
业务指标监控是对业务指标数据进行质量管理的有效工具，可以灵活的创建业务指标、业务规则和业务场景，实时、周期性进行调度，满足业务的数据质量监控需求。 业务指标监控 数据质量监控 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性
配置脱敏策略 本节介绍如何创建数据脱敏策略，然后在数据目录中进行脱敏查询。 前提条件 数据分类规则已创建，数据分类规则的创建请参见新建数据分类。 数据连接，数据表已创建成功，敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页，选择实例，单击“进入
开发Pipeline作业 对已新建的作业进行开发和配置。 开发Pipeline模式的批处理作业和实时处理作业，请您参考编排作业节点、配置作业基本信息、配置作业参数和调测并保存作业章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
