检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。
数据集成API 集群管理 作业管理 连接管理 附：公共数据结构
参数描述 源端配置 *数据源类型 目前只支持MapReduce服务（MRS Hive）。 *数据连接 选择已创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”，设置待嵌入水印的数据库和数据表。
根据自身的业务特点和源数据类型，进行数据存储与分析系统的选型，选取合适的云服务用于存储源数据并进行数据查询和分析。然后，创建该云服务相应的数据连接。 新建数据连接 创建DataArts Studio数据连接 数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源
数据管理 数据管理流程 新建数据连接 新建数据库 （可选）新建数据库模式 新建数据表 父主题： 数据开发
数据源接口 获取数据连接信息 父主题： 数据架构API
如果您已经创建过CDM集群，可以跳过该步骤，直接使用已创建的集群ID。 如果您需要使用新的集群执行迁移任务，调用创建集群API创建。 创建连接 调用创建连接API创建MySQL连接和DWS连接。 创建迁移作业 调用指定集群创建作业API创建MySQL到DWS的迁移作业。 查看作业结果 调用启动作业API开始执行作业。
附：公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明 父主题： 数据集成API
数据开发API（V1） 脚本开发API 资源管理API 作业开发API 连接管理API（待下线）
_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 集群或数据连接 是 选择集群或数据连接。 集群方式不支持开启安全模式的CloudSearch集群，请使用数据连接方式。 CloudSearch集群 是 选择“集群”时，才需要配置。 选择CloudSea
enabled（启用AQE用于连接操作，可以通过根据正在处理的数据动态选择最佳连接算法来提高性能。） spark.sql.adaptive.skewedJoin.enabled（启用AQE用于倾斜的连接操作，可以通过自动检测倾斜的数据并相应地优化连接算法来提高性能） spark.sql
管理中心API 数据连接管理 购买实例 工作空间管理 实例管理 工作空间用户管理 数据源元数据获取 实例规格变更
析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表，事实表与维度表通过主/外键实现关联。典型的维度模型有星形模型，以及在一些特殊场景下使用的雪花模型。 数据集市
日：每天零点执行一次。 周：每周一零点执行一次。 月：每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接，将作业备份到OBS，需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。
数据集成（CDM作业） 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce），以及通过API方式连接的（MRS Spark SQL、MRS Hive SQL）节点。 配置服务级Admin权限 因作业执行过程中，需要往OBS写执行日志信息，
配置脱敏策略 本节介绍如何创建数据脱敏策略，然后在数据目录中进行脱敏查询。 前提条件 数据分类规则已创建，数据分类规则的创建请参见新建数据分类。 数据连接，数据表已创建成功，敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选
任务。 约束条件 已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本，从源表
trade_report：根据trade_log统计产生，记录每日交易汇总。 前提条件 已建立DLI的数据连接，以“dli_demo”数据连接为例。 如未建立，请参考配置DataArts Studio数据连接参数进行操作。 已在DLI中创建数据库，以“dli_db”数据库为例。 如未创建，请参考新建数据库进行操作。
数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间（包含该值），格式为“yyyy-MM-dd
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
