检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
现抢占资源的情况，不能保证每次都可以得到资源执行相关操作。建议您在业务低峰期再次重试，或选择自建队列运行业务。 作业运行成功时，在补数据、测试运行场景下不发送告警通知，避免邮件或短信轰炸。同时，补数据作业实例恢复时也不发送恢复通知。 作业运行失败时，重跑作业并且作业运行成功后，会发送作业实例恢复通知。
是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID
default数据库中的数据表进行脱敏。 *目标表名 用户手动输入，不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”，测试创建目标表并检测目标表是否可用，否则将无法进行下一步操作。 执行引擎 *执行引擎 选择运行脱敏任务的引擎。不同脱敏场景下支持的引擎和注意事项如表3所示。
*数据库 下拉选择存放水印表的数据库。 *目标表名 用户手动输入，不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”，否则将无法进行下一步操作。 图4 源、目标端配置 单击“下一步”，进行调度信息配置。 数据集范围为全量模式时，仅支持单次调度。 数据集
审批人来自权限集/角色的管理员，权限审批后即刻生效。 启用细粒度认证 配置细粒度认证后，在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时，数据源将不再使用数据连接上的账号，而是使用当前用户身份认证鉴权，从而做到实现不同用户具有不同的数据权限，使角色/权限集或队列权限中的权限管控生效。
要根据业务需要选择合适规格的资源组。单个作业（最少需要2 CU）最多支持创建50张表。 小规格：16CUs，创建作业的最大数量为7。适用于测试，不支持高可用，不建议选择。 中规格：64CUs，创建作业的最大数量为32。 大规格：96CUs，创建作业的最大数量为48。 超大规格：128CUs，创建作业的最大数量为64。
是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 表3 请求Body参数 参数 是否必选 参数类型
开启“多表多字段”开关后，“异常表模板”参数不显示，不支持配置。 例如，有一张涉及金额的表，表中“is_test”字段用于标识该条数据是否为测试数据（0为正式数据，1为测试数据）。期望计算正式数据的金额最小值，最大值，平均值以及总和。则自定义模板可设置如下： 维度：准确性。 所属目录：/全部/。
略，因此需要先将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。 如果希望在DataArts Studio数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权以实现行级访问控制策略生效，则需要启用细粒度认证。 为确保行级访问控制策略生效，须确保策略中指定的用户
图1 数据连接 创建一个到DLI的连接，数据连接类型选择“数据湖探索（DLI）”，数据连接名称设置为“dli”。 完成设置后，单击“测试”，测试成功后单击“确定”，完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后，跳转到数据开发页面。 图3 跳转到数据开发页面
rts Studio功能，工作空间的划分通常按照分子公司（如集团、子公司、部门等）、业务领域（如采购、生产、销售等）或者实施环境（如开发、测试、生产等），没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户（成员）权限、资源、DataArts
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源（此处指MRS/DWS数据源）会使用数据连接上的账号进行认证鉴权。因此在数据开发时，权限管控依然无法生效。需要您启用细粒度认证，使得在数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权，从而做到实现不
如果作业和脚本中同时配置了同名的参数，作业中配置的值会覆盖脚本中的值。 说明： 在非调度场景的DLI SQL脚本运行和DLI SQL单任务作业测试运行时，系统会默认开启以下四个配置参数： spark.sql.adaptive.enabled（启用AQE，使Spark能够根据正在处理的
rts Studio功能，工作空间的划分通常按照分子公司（如集团、子公司、部门等）、业务领域（如采购、生产、销售等）或者实施环境（如开发、测试、生产等），没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户（成员）权限、资源、DataArts
{ "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格(X86)", "disk" : 120, "cpu" : 8, "mem" : 16
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务（DWS）
"flavor" : { "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格(X86)", "disk" : 120, "cpu" : 8, "mem" : 16 }, "gateway_version"
源表名不存在的问题。 如下图所示： 图10 配置关键参数 配置完成后单击“保存并提交版本”，以保存主作业。 创建主作业和子作业完成后，通过测试运行主作业“集成管理”，检查数据集成作业创建情况。运行成功后，创建并运行CDM子作业成功。 图11 查看作业创建情况 注意事项 由于CDM
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务（DWS）
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务（DWS）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
