检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.useSql
配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量
访问DataArts Studio实例控制台 前提条件 请参见购买DataArts Studio基础包，确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台，在左上角的服务列表中选择“数据治理中心DataArts Studio”，进入DataArts Studio
源端为Hive JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.hive
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性
开发SQL脚本 数据开发支持对SQL脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。 数据开发模块支持如下类型SQL脚本。而不同数据源的SQL语法有所差异，开发SQL语句前请预先了解各数据源的语法规则。 DLI SQL脚本：请参见
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发，需要获取SQL节点的输出结果值，并将结果应用于后续作业节点或判断时，可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时，输出结果为二维数组形式
创建企业模式工作空间 若您当前使用简单模式工作空间，但希望使用开发与生产环境隔离机制，您可以将简单模式工作空间升级为企业模式工作空间，如果您之前未使用过简单模式、无需继承业务数据，则可以直接新建新企业模式工作空间，本文为您介绍如何创建工作空间模式。 使用限制 只有DAYU Administrator
新建DataArts Studio与DWS数据湖的连接 本章节以新建DWS连接为例，介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 在创建
华为数据治理实践 华为数据治理的规范流程建设，完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践，建立实体化的数据管理组织，向公司数据管理部汇报，同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架，指导各领域进行分类管理。华为信息架构框架
DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "
配置Elasticsearch/云搜索服务源端参数 作业中源连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，源端作业参数如表1所示。 表1 Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引
新建事实表 归属于某个业务过程的事实逻辑表，可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀，从而便于提取业务中事务相关的明细数据。 新建事实表并发布 在DataArts Studio控制台首页，选择对应工作空间的“数据架构”模块，进入数据架构页面
新增字段操作指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
（可选）修改作业日志存储路径 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。
华为数据治理效果 以财经为例，在数据治理前存在很多问题，如由于IT系统的烟囱式建设，导致一个角色跨多个IT系统操作，效率低；数据获取难，手工处理多，单一个收入管理需要从5个系统导出数据，约11个人总共花费50小时完成分析。 通过数据治理，华为可以做到3天月度财务报告出初稿、5天月度财务报告出终稿
访问DataArts Studio实例控制台 前提条件 请参见购买DataArts Studio实例，确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台，在左上角的服务列表中选择“数据治理中心DataArts Studio”，进入DataArts Studio
DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称
新建数据对账作业 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 数据质量监控中的对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 创建作业 在DataArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
