检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
试用初级版 试用初级版注意事项： 云产品体验名额有限，领完即止。 符合“参与对象”的同一用户仅能对同一产品申请一次。 试用产品的升级：用户试用过程中，主动进行升配等操作，将按照官网标准价格收费；如果进行降配或切换计费方式等，将不进行退费。 试用产品的续费：用户需要在试用期满后继续使用DataArts
调用API示例 在工程中引入sdk（signer.go）。 import "apig-sdk/go/core" 生成一个新的Signer，输入AppKey和AppSecret。 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
选择已创建好的MRS资源队列。 说明： 您需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 Spark作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。 系统支
RS作业失败。 Flink作业资源包 是 选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。
job2作为子作业引用执行。实际使用中您可以引用已有作业，也可以使用其他作业节点替代Subjob节点。 作业的调度方式设置为“事件驱动调度”，连接名称和Topic选择为工作空间B中的Kafka连接和Topic，需要与工作空间A中job1作业中Kafka Client节点所选择的K
// 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。
选择需要和资源组进行网络打通的虚拟私有云。 本方案中，资源组网段与中转VPC之间通过对等连接连通网络，因此必须选择中转VPC（例如10.186.0.0/19）。 子网 数据源集群或实例所在的子网（例如192.168.0.0/24）。 路由表 子网实际关联的路由表，绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。
调用API示例 在代码中引入sdk。 1 require 'signer.php'; 生成一个新的Signer， 填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
母、数字、中划线和下划线组成，长度不能超过64个字符，不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。
则仅限于数据安全中已支持的规则（暂不支持“自定义/保留前x后y”和“自定义/掩盖前x后y”两个自定义规则），详见表2。 通过订阅生成的动态脱敏策略名为Kafka消息中的策略名，由于数据安全不允许策略名重复，因此数据安全已有动态脱敏策略名需要避免与Kafka消息中的策略名重复。 订
查看数据质量报告 您可以查询业务指标、数据质量中数据对象的质量评分，来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果，包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是
如果原集群选择全部（两个集群）时，会将2个集群都迁移到目标集群中。 搜索：输入作业名称，单击,可筛选需要修改的含有CDM Job节点的作业。 刷新：单击，刷新含有CDM Job节点的作业列表。 下载：单击，下载该界面中勾选的作业列表。 图4 CDM集群 单击“DLI队列”，配置所选作业的DLI
先级也会越高。优先级高的任务，在调度资源紧张的情况下，将优先获得调度资源。配置优先级后将会在第二天生成的周期实例中生效。 在MRS集群场景中，优先级配置只支持使用MRS API模式的数据连接类型，不支持代理模式的数据连接。 关于优先级约束限制的更多信息，请参见基线运维约束限制。 承诺时间
到DLI中的记录归类为Bad Records。 选择记录脏数据后，Bad Records不会导入到目标表，而是导入到OBS脏数据路径中。 如果未配置工作空间中的DLI脏数据OBS路径，则默认会把DLI SQL执行过程中的脏数据写到dlf-log-{projectId}桶中。 若要
式，只能使用STANDALONE模式。 选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群，只能使用EMBEDDED运行模式连接其中一个集群，其余需使用STANDALONE。
0/24 中转VPC 用于连通数据源和资源组网络的中间桥梁，本方案中需要使用云连接中配置的与Migration同region同租户的虚拟私有云。 查看方式： 登录云连接控制台，在左侧导航栏，选择“云连接 > 云连接实例”，在列表中查找所用的云连接，单击名称进入配置界面，在“网络实例”页签
Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3：数据集成中的集群和迁移作业（图中仅为示例，以实际集群名和迁移作业名为准）。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点：为MRS Hive SQL节点，用于清洗过滤SDI贴源层上原始表中的数据，
如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建
SQL的执行方式。 SQL语句放置在OBS中：执行Hive SQL及Spark SQL语句时，把SQL语句放在OBS中，将OBS路径返回给MRS。 SQL语句放置在请求的消息体中：执行Hive SQL及Spark SQL语句时，把SQL语句放在请求的消息体中，将脚本内容返回给MRS。 单击“保存”，对设置的配置项进行保存。
中转VPC 用于连通数据源和资源组网络的中间桥梁，本方案中需要使用当前租户下与数据源所在租户打通了对等连接的虚拟私有云。 查看方式： 在当前租户下，登录虚拟私有云控制台，在左侧导航栏，选择“虚拟私有云 > 对等连接”，在列表中查找“对端VPC网段”为数据源VPC的对等连接，它的“本端VPC”即可作为中转VPC。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
