检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
西南-贵阳一 cn-southwest-2 dayu.cn-southwest-2.myhuaweicloud.com HTTPS 父主题： 使用前必读
SQL节点的Select语句的执行结果。使用EL表达式#{Job.getNodeOutput('HIVE')}，其中HIVE为前一个节点的名称。 子作业参数：子作业参数是子作业中定义的参数，可以将主作业前一个节点的输出，传递到子作业以供使用。此处变量名为result，其值为数据集中的某一列，使用EL表达式#{Loop
Hudi 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 SQLServer同步到MRS Hudi作业配置 PostgreSQL 数据仓库：DWS 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 PostgreSQL同步到DWS作业配置
在Network请求中，寻找Name形如“09318f28-939f-4ab6-a374-9e621096652c”的长字符串。 图3 寻找长字符串 单击该字符串，弹出具体请求的弹窗。在Request URL中，可以确认该字符串即为该资产的guid。 图4 获取guid 父主题： 使用前必读
082acb20c8eb05ccc4 准备数据文件“in.txt”，内容为一段英文单词。 操作步骤 将作业资源包和数据文件传入OBS桶中。 本例中，WordCount.jar文件上传路径为：lkj_test/WordCount.jar；word.txt 文件上传路径为：lkj_test/input/word
SQL前，我们需要在“管理中心 > 数据连接”模块中建立一个到DWS的连接，数据连接名称为“dws_link”。创建DWS连接的操作请参见DWS数据连接参数说明。 关键参数说明： 集群名：环境准备中创建的DWS集群名称。 绑定Agent：环境准备中创建的CDM集群。 创建数据库 在DWS中创建数据库，以“ga
创建空作业：创建一个空的作业。 基于模板创建：使用数据开发模块提供的模板来创建。 选择目录 选择作业所属的目录，默认为根目录。 责任人 填写该作业的责任人。 作业优先级 选择作业的优先级，提供高、中、低三个等级。 委托配置 配置委托后，作业执行过程中，以委托的身份与其他服务交互。 说明：
配置作业调度为年调度 场景描述 在配置作业配置调度时，可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度，请参考下面的方法进行配置。 配置方法 在DataArts Studio中配置一个按月调度执行的作业，然后在作业里面新增一个Dummy节点（空节点，不处理实
ion对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取，接口为“GET
单击“提交”，完成质量作业的创建。 在质量作业表中，单击操作列的“运行”，跳转到运维管理模块。 待质量作业运行成功后，单击左侧导航菜单的“质量报告” 默认展示技术报告，如下图所示。 图1 技术报告 单击“业务报告”页签，查看业务报告，如下图所示。 图2 业务报告 父主题： 使用教程
CDM未使用数据传输功能时，是否会计费？ CDM集群运行状态下，即便未使用也是正常计费的。 如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题： 数据集成（CDM作业）
Hive SQL节点输出的结果值。 为便于查看最终获得的结果值，本例中For Each节点子作业选择Kafka Client节点进行演示。在实际使用中，您可以根据您的业务需求选择子作业节点类型，在节点任务中应用Loop内嵌对象EL表达式，即可获取For Each前一节点返回的结果值。
单击“下一步”，配置调度信息，如下图所示。 单击“提交”，完成作业场景的创建。 在业务场景管理列表中，单击操作列的“运行”，跳转到运维管理模块。 单击右上角的刷新按钮，可以查看业务场景的运行状态为成功。 单击运行结果，可查看具体的坪效结果。 父主题： 使用教程
Studio服务CDM组件使用，参考创建集群创建CDM集群。 关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与DWS集群所在的网络一致。 如果安全控制原因不能使用相同子网和安全组，那
Studio进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。通过IAM，您可以： 根据企业的业务组织，在您的华为账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用DataArts Studio资源。
Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下： 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。 已经在DLI服务中创建好资源队列、数据库和表。 创建CDM集群
类型名称 使用和操作限制 数据库限制 源端数据库中的库名、表名、字段名不能包含：.<'>/\"以及非ASCII字符，建议尽量使用常规字符避免任务失败。 目的端数据库中的对象名需要满足约束：长度不超过63个字符，以字母或下划线开头，中间字符可以是字母、数字、下划线、$。 使用限制 通用：
单击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面。 单击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图所示。 结果分析 至此，完成了通过DataArts Studio数据质量模块中的对账作业功能实现了DLI和DWS两种不同数据源中的表行数一致性对账功能。
单击“确定”即可添加成功。添加完成后，您可以在空间成员列表中查看或修改已有的成员和对应角色，也可将空间成员从工作空间中删除。 相关操作 移除空间成员：通过空间编辑进入空间信息页面后，在成员列表中勾选所需移除的成员，单击“移除”。在“移除”对话框中，如果确认要移除成员，请单击“确定”。 工作空间的所有者不能被删除。
ams); // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 char*
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
