检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”
步骤1：流程设计 本入门指南以某市出租车出行数据为例，统计某出租车供应商2017年度的运营数据。基于需求分析和业务调研，数据治理业务流程设计如图1所示，后续的数据治理操作均基于本业务流程完成。 图1 流程设计 需求分析 通过需求分析，可以提炼出数据治理流程的实现框架，支撑具体数据治理实施流程的设计。
C++ 操作场景 使用C++语言调用APP认证的API时，您需要先获取SDK，参考调用API示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。 安装openssl库。 apt-get install libssl-dev
C 操作场景 使用C语言调用APP认证的API时，您需要先获取SDK，参考API调用示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。 安装openssl库。 apt-get install libssl-dev
新建数据质量作业 质量作业可将创建的规则应用到建好的表中进行质量监控。 配置流程 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 （可选）选择“数据质量监控 > 质量作业”，新建目录。如果已存在可用的目录，可以不用新建目录。注意
MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线，且长度为1~64个字符。
步骤1：数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
查询集群详情信息列表 功能介绍 查询集群详情信息列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。
开发批处理单任务SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的批处理作业，请您参考开发SQL脚本、配置作业参数、质量监控、数据表、调测并保存作业和下载或转储脚本执行结果章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定
配置默认项 本章节主要介绍默认项的配置。当前只有具备 Administrator或Tenant Administrator账号权限的用户才有默认配置项的相关操作权限。 使用场景 当某参数被多个作业调用时，可将此参数提取出来作为默认配置项，无需每个作业都配置该参数。 表1 配置项列表
查询集群详情信息 功能介绍 查询集群详情信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
步骤2：数据集成 OBS数据迁移到DWS 登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。 或参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。在DataArts Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。
逻辑模型 逻辑模型是利用实体及相互之间的关系，准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性，使用一系列标准的规则将各种对象的特征体现出来，并对各实体之间的关系进行准确定义。 同时，逻辑模型也为构建物理模型提供了有力的参考依据，并支持转换为物理模型，
创建集群 功能介绍 创建集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 请求参数
如何选择版本 请您根据您所需的功能和规格，慎重选择DataArts Studio版本。 购买版本后，无法直接降级版本。如已购买企业版，无法直接降级到初级版，您需要采取先备份数据，然后退订原有实例，购买新实例，最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
