检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块，进入CDM主界面。 云数据迁移简介 云数据迁移基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 图1 数据集成定位 产品功能
执行以下SQL命令，查询目的表B里面是否存在源表A的数据。 SELECT * FROM B 参数配置完成后，保存并提交此作业的最新版本，测试运行该作业。 单击“执行调度”，让该作业运行起来。 创建补数据。 您在创建了一个周期调度作业后，用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏，选择“运维调度
审批人来自权限集/角色的管理员，权限审批后即刻生效。 启用细粒度认证 配置细粒度认证后，在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时，数据源将不再使用数据连接上的账号，而是使用当前用户身份认证鉴权，从而做到实现不同用户具有不同的数据权限，使角色/权限集或队列权限中的权限管控生效。
现抢占资源的情况，不能保证每次都可以得到资源执行相关操作。建议您在业务低峰期再次重试，或选择自建队列运行业务。 作业运行成功时，在补数据、测试运行场景下不发送告警通知，避免邮件或短信轰炸。同时，补数据作业实例恢复时也不发送恢复通知。 作业运行失败时，重跑作业并且作业运行成功后，会发送作业实例恢复通知。
执行以下SQL命令，查询目的表B里面是否存在源表A的数据。 SELECT * FROM B 参数配置完成后，保存并提交此作业的最新版本，测试运行该作业。 单击“执行调度”，让该作业运行起来。 创建补数据。 您在创建了一个周期调度作业后，用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏，选择“运维调度
仅“模板名称”选择为自定义的规则模板时，需要配置该参数。自定义的规则模板发布后，会产生对应的版本号，此处选择所需的版本。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”，默认为全表扫描。 当仅需计算一部分数据，或需周期性按时间戳运行对账作业时，建议通过设置where条件进行条件扫描。 where条件
其他参数保持默认即可。 规则模板： 模板名称：选择“表行数（DWS，HIVE，SparkSQL，ORACLE）”。 其他参数保持默认即可。 计算范围：选择“全表扫描”。 告警条件：非必填，保持默认即可。 图3 子作业规则配置 单击“下一步”，进入“告警配置”页面。 告警条件选择“子
destination 是 String 设置目的。 definition 是 String 指标定义。 expression 是 String 计算公式。 remark 否 String 备注。 approval_info 否 ApprovalVO object 审批信息,只读参数。业
destination 是 String 设置目的。 definition 是 String 指标定义。 expression 是 String 计算公式。 remark 否 String 备注。 approval_info 否 ApprovalVO object 审批信息,只读参数。业
数据连接，根据DLF配置的调度身份执行CDM作业。 公共委托 否 适用组件勾选数据集成且“使用委托”选择“是”时，呈现此参数。 仅涉及用于测试该连接委托功能是否正常，作业运行将根据DLF配置的调度身份执行CDM作业。 访问标识(AK) - 适用组件勾选数据集成且“OBS支持”选择“是”时，呈现此参数。
本。 权重 设置规则的权重，支持按照字段级别设置权重。权重范围：【1-9】，整数。默认值为5。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”，默认为全表扫描。 当仅需计算一部分数据，或需周期性按时间戳运行质量作业时，建议通过设置where条件进行条件扫描。 数据质量
当API对应的数据表数据量较大时，获取数据总条数将会比较耗时。此时，如果需要在调用时不计算并返回数据总条数，可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数，值为1返回数据总条数，值非1不返回数据总条数。 图8 “返回总条数”参数配置
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源（此处指MRS/DWS数据源）会使用数据连接上的账号进行认证鉴权。因此在数据开发时，权限管控依然无法生效。需要您启用细粒度认证，使得在数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权，从而做到实现不
是否按照天粒度补数据，true表示是，false表示否。 priority 否 int 设置补数据作业的优先级。当系统资源不充足时，可以优先满足优先级较高的作业的计算资源，数字越大优先级越高，当前只支持对DLI SQL算子设置优先级。 is_stop_when_fail 否 Boolean 补数据作业失
debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。 jdbc.properties
cal_fn_ids Array of strings 引用函数ID，填写String类型替代Long类型。 cal_exp String 计算表达式，形如${index_id} + ${compound#index_id}，其中index_id代表引用的衍生指标ID，compou
避免频繁调用。 使用Token前请确保Token离过期有足够的时间，防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。
略，因此需要先将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。 如果希望在DataArts Studio数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权以实现行级访问控制策略生效，则需要启用细粒度认证。 为确保行级访问控制策略生效，须确保策略中指定的用户
图1 数据连接 创建一个到DLI的连接，数据连接类型选择“数据湖探索（DLI）”，数据连接名称设置为“dli”。 完成设置后，单击“测试”，测试成功后单击“确定”，完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后，跳转到数据开发页面。 图3 跳转到数据开发页面
条规则，然后设置告警条件，设置完所有规则的告警条件后单击“确定”。 在“告警条件”输入框中，请输入告警条件表达式，在质量作业运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。 告警条件表达式由告警参数和逻辑运算符组成。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
