检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CPU核数。您可以根据DLI队列资源合理规划计算资源规格。 需要注意的是，Spark任务执行需要driver、executor等多个角色共同调度完成，因此“Executor个数*Executor CPU核数”要小于队列的计算资源CU数，避免其他Spark任务角色无法启动。 Spark作业参数计算公式： CU数=driver
Studio实例，默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的。其中数据开发作业的每天调度次数，是以节点（包含Dummy节点）为粒度进行度量的，另外补数据任务也会计入度量次数，但测试运行、失败重试不
SQL脚本，以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句，单击“运行”，从OBS原始数据表中计算出10大用户关注最多的产品，将结果存放到top_like_product表。 INSERT OVERWRITE table top_like_product
”中输入告警条件表达式，然后按照此方法添加其他规则后，单击“确定”。 告警条件表达式，由告警参数和逻辑运算符组成。在质量作业运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。在此处
rk/spark-examples_2.10/1.1.1/spark-examples_2.10-1.1.1.jar），此Spark作业是计算π的近似值。 获取Spark作业代码JAR包后，将JAR包上传到OBS桶中，存储路径为“obs://dlfexample/spark-examples_2
与其他云服务的关系 统一身份认证服务 DataArts Studio使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证和鉴权功能。 云审计服务 DataArts Studio使用云审计服务（Cloud Trace Servic
当API对应的数据表数据量较大时，获取数据总条数将会比较耗时。此时，如果需要在调用时不计算并返回数据总条数，可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数，值为1返回数据总条数，值非1不返回数据总条数。 图6 “返回总条数”参数配置
新建DataArts Studio与MRS Hive数据湖的连接 本章节以新建MRS Hive连接为例，介绍如何建立DataArts Studio与数据湖底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。
CUs为DLI计费单位，一个CU是1核4G的资源配置。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明： 并发数不能大于计算单元（CUs-1）的4倍。 异常自动启动 否 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 表3 Flink OpenSource
登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块，进入CDM主界面。 云数据迁移简介 云数据迁移基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 图1 数据集成定位 产品功能
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务，以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码，且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通，网络互通需满足如下条件：
避免频繁调用。 使用Token前请确保Token离过期有足够的时间，防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。
了资源队列时，此处配置的资源队列为最高优先级。 SQL脚本 是 仅“脚本类型”配置为“在线脚本”时可以配置。 选择已创建的Spark Python脚本。 脚本参数 否 仅“脚本类型”配置为“在线脚本”时可以配置。 关联的Spark Python脚本中如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。
其他参数保持默认即可。 规则模板： 模板名称：选择“表行数（DWS，HIVE，SparkSQL，ORACLE）”。 其他参数保持默认即可。 计算范围：选择“全表扫描”。 告警条件：非必填，保持默认即可。 图3 子作业规则配置 单击“下一步”，进入“告警配置”页面。 告警条件选择“子
仅“模板名称”选择为自定义的规则模板时，需要配置该参数。自定义的规则模板发布后，会产生对应的版本号，此处选择所需的版本。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”，默认为全表扫描。 当仅需计算一部分数据，或需周期性按时间戳运行对账作业时，建议通过设置where条件进行条件扫描。 where条件
destination 是 String 设置目的。 definition 是 String 指标定义。 expression 是 String 计算公式。 remark 否 String 备注。 approval_info 否 ApprovalVO object 审批信息,只读参数。业
destination 是 String 设置目的。 definition 是 String 指标定义。 expression 是 String 计算公式。 remark 否 String 备注。 approval_info 否 ApprovalVO object 审批信息,只读参数。业
本。 权重 设置规则的权重，支持按照字段级别设置权重。权重范围：【1-9】，整数。默认值为5。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”，默认为全表扫描。 当仅需计算一部分数据，或需周期性按时间戳运行质量作业时，建议通过设置where条件进行条件扫描。 数据质量
包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。 产品架构如图1所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
