华为云用户手册

月依赖月 规则：依赖自然天，月作业依赖前一天的月作业，如果被依赖的月作业如果在依赖作业之后执行，则依赖作业不会阻塞，正常执行。除此之外均会按照依赖关系去执行。 举例1：A依赖B，A作业每月1号执行，B作业每月2号执行，A作业1号正常执行，B作业不阻塞A作业执行。 举例2：A依赖B，A作业和B作业都是2号执行，A作业会依赖B作业执行完成后的作业实例。 举例3：A依赖B，A作业每月3号执行，B作业每月2号执行，3号A作业依赖2号B作业。

周依赖月 规则：依赖自然天，周作业依赖前一天的月作业，如果月作业在前一天未执行，周作业直接执行。如果月作业在前一天执行，周作业会等待月作业执行完成后，再开始执行。 举例1：A依赖B，A作业每周三执行，B作业每月10号执行。在A作业执行时，如果前一天正好是10号，A作业会等待B作业执行完成后执行。 举例2：A依赖B，A作业每周三执行，B作业每月10号执行。在A作业执行时，如果前一天不是10号，则A作业直接执行。

新空间导入数据 请您登录控制台首页，选择并进入新工作空间的“数据开发”模块，然后执行如下操作依次导入资源、导入环境变量、导入脚本、导入作业。 导入资源 在数据开发主界面，单击左侧导航上的“资源管理”，进入资源管理页面。 单击资源目录中的，选择“导入资源”。 图8 选择导入资源 在弹出的导入资源窗口中，“文件位置”选择为“本地”，选择从旧空间导出的资源文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图9 导入资源 资源开始导入，导入成功后系统会显示导入的资源名。 图10 导入资源成功 导入环境变量 单击左侧导航上的“配置”，进入环境变量页面。 单击环境变量配置下的“导入”，导入环境变量。 图11 选择导入环境变量 在弹出的导入环境变量窗口中，“文件位置”选择为“本地”，选择从旧空间导出的环境变量文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图12 导入环境变量 环境变量开始导入，导入前系统会提示是否要修改变量值，确定后环境变量即可导入成功。 图13 导入结果确认 导入脚本 单击左侧导航上的“脚本开发”，进入脚本目录。 单击脚本目录中的，选择“导入脚本”。 图14 选择导入脚本 在弹出的导入脚本窗口中，“文件位置”选择为“本地”，选择从旧空间导出的脚本文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图15 导入脚本 脚本开始导入，导入成功后系统会显示导入的脚本名。 图16 导入脚本成功 导入作业 单击脚本目录树上方的，切换到作业界面。 单击作业目录中的，选择“导入作业”。 图17 选择导入作业 在弹出的导入作业窗口中，“文件位置”选择为“本地”，选择从旧空间导出的作业文件，单击下一步。 图18 导入作业 作业开始导入，导入成功后系统会显示导入的作业名。 图19 导入作业成功

准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统，与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。 - CDH集群 NameNode IP 客户CDH集群的主NameNode IP。 192.168.2.3 HDFS的端口 一般默认为9000。 9000 HDFS URI 客户CDH集群中HDFS的NameNode URI地址。 hdfs://192.168.2.3:9000 OBS OBS终端节点 OBS的Endpoint。 obs.cn-north-1.myhuaweicloud.com OBS桶 存放CDH一个月前历史数据的OBS桶。 cdm AK/SK 连接OBS的AK/SK。 - MRS Manager IP MRS Manager的IP地址。 192.168.3.11

查看质量作业 在 DataArts Studio 数据开发中，作业运行成功后，您可以登录DataArts Studio数据质量控制台查看质量作业运行结果。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在DataArts Studio作业开发控制台，选择步骤6：数据开发处理中新建的作业，单击数据质量监控节点，然后在该节点的节点属性中，单击“数据质量规则名称”后的按钮，可以跳转到DataArts Studio数据质量控制台的“质量作业”页面。 图1 质量作业节点 在数据质量页面，单击质量作业名称，可以查看质量作业的基础配置。 图2 质量作业列表 单击左侧导航栏中的“运维管理”，单击操作列的“结果&日志”按钮，可查看质量作业的运行结果。 图3 质量作业运行结果

使用命令恢复历史不变的数据 这里以恢复“/hbase/data/default/table_20180811”表为例，恢复步骤如下： 进入MRS Client所在的节点，例如master1节点。 切换为omm用户。 su – omm 加载环境变量。 source /opt/client/bigdata_env 执行修改目录权限命令。 hdfs dfs –chown omm:hadoop –R /hbase/data/default/table_20180811 omm:hadoop：表示用户名，实际场景中请替换。 /hbase/data/default/table_20180811：表示表所在路径。 执行恢复元数据命令。 hbase hbck –fixMeta table_20180811 执行Region上线命令。 hbase hbck –fixAssignments table_20180811 出现“Status: OK”则说明恢复表成功。

恢复表时的问题处理 执行完fixMeta命令后，报错显示“xx inconsistent”： fixMeta命令是校验HDFS和HBase元数据一致性，出现这个提示是正常情况，继续执行fixAssignments命令即可。 执行完fixAssignments命令后，报错显示“xx inconsistent”： fixAssignments是让所有Region上线，偶尔会出现部分Region上线较慢，可以再执行一次以下命令检查一下： hbase hbck 表名 如果出现“Status : OK”则表示HBase表恢复成功。 执行完fixAssignments命令后，错误提示多个region有相同的startkey，部分region存在overlap情况： 可以再执行： hbase hbck –fixHdfsOverlaps 表名 执行完毕后再执行fixMeta和fixAssignments命令。

业务调研 在开始使用DataArts Studio前，您可以通过业务调研，明确业务过程中所需的DataArts Studio组件功能，并分析后续的业务负载情况。 表1 业务调研表 序号 收集项 需收集信息描述 调研结果 填写说明 1 工作空间 企业大数据相关部门的组织和关系调查 本示例不涉及 用于合理规划工作空间，降低空间相互依赖的复杂度 各组织部门之间对数据、资源的访问控制 本示例不涉及 涉及到用户的权限和资源权限控制 2 数据集成 有哪些数据源要迁移，数据源版本 CS V格式的数据，存储于OBS桶 - 每种数据源的数据全量数据规模 2，114 字节 - 每种数据源每天的增量数据规模 本示例不涉及 - 迁移目的端数据源种类以及版本 迁移到MRS Hive3.1 - 数据的迁移周期：天、小时、分钟还是实时迁移 天 - 数据源与目的数据源之间的网络带宽 100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移，调研表的个数，最大表的规模 本示例不涉及，本示例需要从OBS文件迁移到数据库 了解数据库迁移的作业规模，了解最大表的迁移时间是否可接受 文件类迁移，文件的个数，有没有单文件超过TB级文件 本示例的CSV文件仅1个，未超过TB级 - 3 数据开发 是否需要作业编排调度？ 是 - 编排调度会涉及哪些服务，例如MRS、DWS、 CDM 等？ 本示例涉及DataArts Studio数据集成和数据质量、MRS Hive 了解作业的场景，用于进一步调查平台能力与客户场景匹配度 作业数量规模是多少？ 本示例作业数量在20个以内 大致了解作业的规模，通常用算子数来描述，可通过表的数量估计 每日作业调度次数是多少？ 没有特殊要求，次数不限 根据DataArts Studio各销售版本的调度限额，确定DataArts Studio的版本 数据开发人员的数量是多少？ 1个 - 4 数据架构 数据现状，有哪些数据源，多少张表？ 本示例的CSV文件仅1个 原始端分析， 了解数据来源与整体概况 业务需求，有哪些业务，有什么需求， 想要获得什么价值？ 数据标准化、模型标准化，并灵活统计收入情况 目的端分析，了解 数据治理 以及数字化是为了什么 数据调研，数据概况，数据标准程度，行业标准概况？ 本示例不涉及 过程端分析，了解数据治理过程需要做到的标准与质量的遵从 5 数据质量 有哪些需求，需要获得什么价值？ 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少？ 本示例仅1个 用户可手动创建几十个作业，也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口，则可创建超过100个质量作业 用户的使用场景？ 对DWI层数据进行标准化清洗 一般在数据加工前后，对数据的质量通过六大维度的规则进行质量监控，当发现不符合规则的异常数据时向用户发送报警 6 数据目录 需要支持哪些数据源？ MRS Hive - 数据资产的数量规模有多大？ 本示例表在百级以内 最大可支持100w数据表的管理 元数据采集的调度频率是多少？ 本示例不涉及 支持按照小时、天、周为周期运行采集任务 元数据采集的重要指标包括什么？ 本示例不涉及 表名称、字段名称、责任人、描述信息、创建时间等 标签的使用场景是什么？ 本示例不涉及 标签是相关性很强的关键字，帮助用户对资产进行分类和描述，方便用户进行查询 7 数据安全 需要对哪些数据源进行访问管理？ 本示例不涉及 支持 DLI 、DWS和Hive等数据源 需要支持静态脱敏？ 本示例不涉及 支持对DLI、DWS和Hive数据源数据进行静态脱敏 需要支持动态脱敏？ 本示例不涉及 支持对DWS和Hive数据源数据进行动态脱敏 需要支持数据水印？ 本示例不涉及 支持对Hive数据源数据进行数据水印嵌入 需要支持文件水印？ 本示例不涉及 支持对结构化数据文件注入暗水印，支持对非结构化数据文件注入明水印 需要支持动态水印？ 本示例不涉及 支持对Hive和Spark数据源数据配置动态水印策略 8 数据服务 需要开放哪些数据源数据？ 本示例不涉及 支持DLI、DWS和MySQL等数据源 每日数据调用量是多少？ 本示例不涉及 若取数逻辑复杂造成数据库响应时间较长，调用量会下降 每秒数据调用量峰值是多少？ 本示例不涉及 根据不同规格和具体的取数逻辑有所增减 单次数据调用平均时延是多少？ 本示例不涉及 数据库响应耗时与用户取数逻辑相关 是否需要数据访问记录？ 本示例不涉及 - 数据访问方式，内网还是外网？ 本示例不涉及 - 数据服务开发人员数量是多少？ 本示例不涉及 -

需求分析 通过需求分析，可以提炼出数据治理流程的实现框架，支撑具体数据治理实施流程的设计。 在本示例场景下，当前面临的数据问题如下： 未建立标准化模型 数据字段命名不标准、不规范 数据内容不标准，数据质量不可控 统计口径不一致，困扰业务决策 通过DataArts Studio实施数据治理，期望能够达到以下目标： 数据标准化、模型标准化 统一统计口径，提供高质量数据报告 数据质量监控告警 统计每天收入 统计某月收入 统计不同支付类型收入占比

步骤3：服务退订 本开发场景中，DataArts Studio、OBS和DLI服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用： SMN 服务：如果您在使用DataArts Studio各组件过程中开启了 消息通知 功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。 在场景开发完成后，如果您不再使用DataArts Studio及相关服务，请及时进行退订和资源删除，避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费，套餐包暂不支持退订。本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时，涉及存储收费和扫描量计费。扫描量收费是在使用默认default队列提交作业时计费的，后续不使用队列不收费；存储收费需要您在DLI服务数据管理中删除相关数据。 SMN SMN计费说明 SMN服务按实际用量付费，退订DataArts Studio服务后不会再产生通知，您也可以直接删除SMN服务已产生的主题和订阅。 父主题： 免费版：基于DLI的电商BI报表数据开发流程

查看业务资产和技术资产 在DataArts Studio控制台首页，选择对应工作空间的“数据目录”模块，进入数据目录页面。 在左侧导航栏单击“数据目录”，选择“业务资产”页签，然后在筛选条件中选择业务对象，将显示符合条件的业务资产。 选择“技术资产”页签，然后在筛选条件中“数据连接”选择所需查看的连接，“类型”选择“Table”，右侧页面将显示符合条件的所有的元数据。 图1 技术资产 在资产列表中，单击所需查看的元数据名称，即可查看详情信息。 例如，在资产列表中，找到事实表fact_stroke_order，单击事实表名称，即可查看事实表的详情信息。在详情页面，进入“血缘”页签，可查看事实表的输入输出血缘信息。 图2 血缘 在资产列表中，找到汇总表，例如dws_payment_type，单击汇总表名称，即可查看汇总表的详情信息。在详情页面，进入“数据预览”页签，可查看汇总表的预览数据。 图3 数据预览

分析10大用户关注最多的产品 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个DLI SQL脚本，以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句，单击“运行”，从OBS原始数据表中计算出10大用户关注最多的产品，将结果存放到top_like_product表。 INSERT OVERWRITE table top_like_productSELECT product.brand as brand, COUNT(product.brand) as like_countFROM action JOIN product ON (action.product_id = product.product_id)WHERE action.type = 'like'group by brandORDER BY like_count descLIMIT 10 图2 脚本（分析10大用户关注最多的产品） 关键参数说明： 数据连接：步骤4中创建的DLI数据连接。 数据库：步骤6中创建的数据库。 资源队列：可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低，可能会出现无法支持建表语句执行的报错，这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行，可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列，仅用于用户体验，用户间可能会出现抢占资源的情况，不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况，建议您在业务低峰期再次重试，或选择自建队列运行业务。 脚本调试无误后，单击“保存”保存该脚本，脚本名称为“top_like_product”。单击“提交”，提交脚本版本。在后续开发并调度作业会引用该脚本。 脚本保存完成且运行成功后，您可通过如下SQL语句查看top_like_product表数据。您还可以参考图3，下载或转储表数据。 SELECT * FROM top_like_product 图3 查看top_like_product表数据

示例场景说明 本实践通过DataArts Studio服务的数据开发DLF组件和 数据湖探索 服务（DLI）对某电商商城的用户、商品、评论数据（脱敏后）进行分析，输出用户和商品的各种数据特征，可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间，您可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能，以及DLI的SQL基本语法。 本入门示例涉及DataArts Studio服务的管理中心和数据开发模块，DataArts Studio的各版本均可以满足使用要求。 如果您从未使用过DataArts Studio，您可以选择试用DataArts Studio，按照本示例进行入门试用。 操作流程如下： 准备工作，包括使用DataArts Studio前的准备、数据源准备和 数据湖 准备。 数据开发，包含创建DLI SQL脚本和开发作业。 分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业，通过编排作业和配置作业调度策略，定期执行作业，使得用户可以每天获取到最新的数据分析结果。 服务退订，如果不再使用DataArts Studio相关服务，请及时进行退订和资源删除。 父主题： 免费版：基于DLI的电商BI报表数据开发流程

数据湖准备 在本示例中，选择 数据仓库 服务（DWS）服务作为数据底座。 创建DWS集群的具体操作请参见创建集群。为确保DWS集群与DataArts Studio实例网络互通，DWS集群需满足如下要求： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与DWS集群处于不同区域的情况下，需要通过公网或者专线打通网络。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与DWS集群同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保DWS集群与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。 创建DWS集群后，您需要在管理中心创建DWS连接，然后通过数据开发组件新建数据库、数据库模式，再执行SQL来创建DWS表。操作步骤如下： 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图1 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。参数配置如图2所示。 数据连接类型：数据仓库服务（DWS） 数据连接名称：dws_link 标签：可选参数。您可以输入新的标签名称，也可以在下拉列表中选择已有的标签。 适用组件：保持默认即可。 SSL加密：是否开启，请与源端DWS集群的配置保持一致。 连接方式：选择“通过代理连接”。 手动：选择“集群名”模式，“IP”和“端口”不需要手动填写。 DWS集群名：选择所创建的DWS集群。 KMS密钥：选择一个KMS密钥，使用KMS密钥对敏感数据进行加密。如果未创建KMS密钥，请单击“访问KMS”进入KMS控制台创建一个密钥。 绑定Agent：需选择一个数据集成集群作为连接代理，该集群和DWS集群必须网络互通。本示例可选择创建DataArts Studio实例时自动创建的数据集成集群。 用户名：数据库的用户名，创建DWS集群时指定的用户名，默认为dbadmin。 密码：数据库的访问密码，创建DWS集群时指定的密码。 图2 DWS连接配置参数 DWS连接创建完成后，跳转到数据开发页面。 图3 跳转到数据开发页面 创建DWS数据库和数据库模式。 在数据开发界面，在DWS连接上右键单击，选择“新建数据库”，创建一个数据库用于存放数据表，数据库名称为“demo”。 图4 创建数据库 展开DWS连接目录至demo数据库的数据库模式层级，然后再右键单击，选择“新建模式”，创建数据库模式用于存放数据表，数据库模式名称为“dgc”。 图5 创建数据库模式 创建一个DWS SQL脚本，以通过DWS SQL语句来创建数据表。 图6 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句，并单击“运行”来创建数据表。其中，movies_item、ratings_item为原始数据表，具体数据将在之后通过CDM由OBS迁移到表中；top_rating_movie和top_active_movie为结果表，用于存放分析结果。 SET SEARCH_PATH TO dgc;CREATE TABLE IF NOT EXISTS movies_item( movieId INT, movieTitle VARCHAR, videoReleaseDate VARCHAR, IMDbURL VARCHAR, unknown INT, Action INT, Adventure INT, Animation INT, Children INT, Comedy INT, Crime INT, Documentary INT, Drama INT, Fantasy INT, FilmNoir INT, Horror INT, Musical INT, Mystery INT, Romance INT, SciFi INT, Thriller INT, War INT, Western INT);CREATE TABLE IF NOT EXISTS ratings_item( userId INT, movieId INT, rating INT, timestamp VARCHAR);CREATE TABLE IF NOT EXISTS top_rating_movie( movieTitle VARCHAR, avg_rating float, rating_user_number int); CREATE TABLE IF NOT EXISTS top_active_movie( movieTitle VARCHAR, avg_rating float, rating_user_number int); 图7 创建数据表 关键参数说明： 数据连接：步骤4中创建的DWS数据连接。 数据库：步骤6中创建的数据库。 脚本运行成功后，可以通过如下脚本检查数据表是否创建成功。确认数据表创建成功后，该脚本后续无需使用，可直接关闭。 SELECT * FROM pg_tables;

作业开发 在DataArts Studio数据开发控制台的左侧导航栏中，单击“作业开发”，然后右键单击“作业”选择菜单“新建目录”，在目录树下根据需要创建作业目录，例如“transport”。 右键单击作业目录，在弹出菜单中单击“新建作业”。 图5 作业 在弹出弹框中输入“作业名称”如demo_taxi_trip_data，“作业类型”选择“批处理”，其他参数保留默认值，单击“确定”完成批作业创建。 图6 新建批处理作业 如下图所示，编排批作业。 图7 编排作业 每个节点配置如下： source_sdi节点：为CDM Job节点，通过CDM节点将OBS上的数据导入到MRS Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3：数据集成中的集群和迁移作业（图中仅为示例，以实际集群名和迁移作业名为准）。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点：为MRS Hive SQL节点，用于清洗过滤SDI贴源层上原始表中的数据，将合法数据写入数据架构中DWI层标准出行数据表dwi_taxi_trip_data中。其中，“SQL脚本”请选择在脚本开发中创建的脚本demo_etl_sdi_dwi。 图9 demo_etl_sdi_dwi节点属性 dwi数据监控节点：为Data Quality Monitor节点，用于监控DWI层的标准出行数据的质量。其中，“数据质量规则名称”请选择发布DWI层标准出行数据表时自动生成的质量规则“标准出行数据”。 图10 dwi数据监控节点 demo_etl_dwi_dwr_fact节点：为MRS Hive SQL节点，用于将DWI上的原始数据写入DWR层的事实表fact_stroke_order中。其中，“SQL脚本”请选择在脚本开发中创建的脚本demo_etl_dwi_dwr_fact。 图11 demo_etl_dwi_dwr_fact节点属性 码表维度数据填充节点：为MRS Hive SQL节点，用于将付款方式、费率代码和供应商的集成数据写入DWR层相应的维度表中。其中，“SQL脚本”请选择在脚本开发中创建的脚本demo_taxi_dim_data。 图12 码表维度数据填充节点属性 等待节点：不做任何事情，等待前面的节点运行结束。 图13 等待节点 按付款方式汇总统计节点：为MRS Hive SQL节点，按付款方式维度统计汇总截止到当前日期的收入。该节点是从发布汇总表“付款方式统计汇总”时自动生成的数据开发作业（作业名称以demo_dm_db_dws_payment_type_开头，命名规则为“数据库名称_汇总表编码”）中复制的，复制节点后需手动配置该节点的“数据连接”和“数据库”参数，“数据库”需设置为事实表所在的数据库。 数据开发作业自动生成功能需在管理配置中心中勾选“创建数据开发作业”实现。 图14 按付款方式汇总统计节点属性 按费率汇总统计节点：为MRS Hive SQL节点，按费率代码维度统计汇总截止到当前日期的收入。该节点是从发布汇总表“费率统计汇总”时自动生成的数据开发作业（作业名称以demo_dm_db_dws_rate_code_开头，命名规则为“数据库名称_汇总表编码”）中复制的，复制节点后需手动配置该节点的“数据连接”和“数据库”参数，“数据库”需设置为事实表所在的数据库。 图15 按费率汇总统计节点属性 按供应商汇总统计节点：为MRS Hive SQL节点，按供应商维度统计汇总截止到当前日期各时间维度的收入。该节点是从发布汇总表“供应商统计汇总”时自动生成的数据开发作业（作业名称以demo_dm_db_dws_vendor_开头，命名规则为“数据库名称_汇总表编码”）中复制的，复制节点后需手动配置该节点的“数据连接”和“数据库”参数，“数据库”需设置为事实表所在的数据库。 图16 按供应商汇总统计节点属性 Dummy_finish节点：不做任何事情，作为作业结束的标记。 图17 Dummy_finish节点 作业编排好之后，您可以通过测试运行来测试作业编排是否正确。 您可以根据需要，配置作业的调度方式。单击右侧“调度配置”页签，展开配置页面。当前支持单次调度、周期调度和事件驱动调度作业。 图18 配置作业的调度方式 调度配置完成后，您需要单击“保存”按钮保存作业并单击“提交”按钮提交作业版本。然后单击“执行调度”来启动作业的调度。 图19 保存并提交作业与执行调度

步骤9：服务退订 本开发场景中，DataArts Studio、OBS、MRS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用： SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。 EIP服务：如果您为数据集成集群或数据服务专享版集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 DEW服务：在数据集成或创建管理中心连接时，如果启用了KMS，则会产生密钥管理费用，收费标准请参见DEW价格详情。 APIG服务：在使用数据服务共享版发布API到API网关共享版后，如果调用API，则会产生API网关的调用API费用和流量费用，收费标准请参见APIG价格详情。 在场景开发完成后，如果您不再使用DataArts Studio及相关服务，请及时进行退订和资源删除，避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费，套餐包暂不支持退订。本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts Studio后可以一并删除。 MRS MRS计费说明 MRS服务支持按需和包周期计费。本例中使用按需计费，完成后删除MRS集群即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除MRS集群。 DWS DWS计费说明 DWS服务支持按需和包周期计费。本例中使用按需计费，完成后删除DWS集群即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除DWS集群。 SMN SMN计费说明 SMN服务按实际用量付费，退订DataArts Studio服务后不会再产生通知，您也可以直接删除SMN服务已产生的主题和订阅。 EIP EIP计费说明 EIP服务支持按需和包周期计费，本例中使用按需计费，完成后删除EIP即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除EIP。 DEW DEW计费说明 KMS密钥管理按密钥实例进行按需计费，您可以直接删除DEW服务已产生的KMS密钥。 APIG APIG计费说明 如果您使用的是数据服务专享版，则不涉及此项费用。 使用数据服务专享版时，共享版API网关按实际使用量计费，包含API调用量（次数）和流量费用（下行流量）两个维度。退订DataArts Studio服务后不会再产生API调用，您也可以直接删除发布到APIG网关上的API。 父主题： 企业版：基于MRS Hive的出租车出行数据治理流程

开发并调度作业 假设OBS中“movie”和“rating”表是每日更新的，我们希望每天更新Top10电影，那么这里可以使用DLF作业编排和作业调度功能。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个DLF批处理作业，作业名称为“topmovie”。 图7 新建作业 图8 配置作业 在作业开发页面，拖动2个CDM Job节点、3个Dummy节点和2个DWS SQL节点到画布中，选中连线图标并拖动，编排图9所示的作业。 图9 连接和配置节点属性 关键节点说明： Begin（Dummy节点）：不执行任何操作，只作为起始点的标识。 movies_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成中的CDM集群，并关联CDM作业“movies_obs2dws”。 ratings_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成中的CDM集群，并关联CDM作业“ratings_obs2dws”。 Waiting（Dummy节点）：不执行任何操作，作为等待前侧节点执行结束的标识。 top_rating_movie（DWS SQL节点）：在节点属性中，关联创建DWS SQL脚本top_rating_movie中开发完成的DWS SQL脚本“top_rating_movie”。 top_active_movie（DWS SQL节点）：在节点属性中，关联创建DWS SQL脚本top_active_movie中开发完成的DWS SQL脚本“top_active_movie”。 Finish（Dummy节点）：不执行任何操作，只作为结束点的标识。 作业编排完成后，单击，测试运行作业。 如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 2022/02/09至2022/02/28，每天1点00分执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。 跨周期依赖：可以选择配置为依赖上一周期或者不依赖，此处配置为不依赖即可。 最后保存并提交版本（单击），执行调度作业（单击）。实现作业每天自动运行，Top10电影的结果自动保存到“top_active_movie”和“top_rating_movie”表。 您如果需要及时了解作业的执行结果是成功还是失败，可以通过数据开发的运维调度界面进行查看，如图11所示。 图11 查看作业执行情况

数据湖准备 在本示例中，选择数据湖探索（DLI）服务作为数据底座。为确保DataArts Studio与DLI网络互通，在创建DLI队列时区域和企业项目应与DataArts Studio实例保持一致。 当前由于DLI的“default”队列默认Spark组件版本较低，可能会出现无法支持建表语句执行的报错，这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行，可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列，仅用于用户体验，用户间可能会出现抢占资源的情况，不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况，建议您在业务低峰期再次重试，或选择自建队列运行业务。 开通DLI服务后，您需要在管理中心创建DLI连接，然后通过数据开发组件新建数据库，再执行SQL来创建OBS外表。操作步骤如下： 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图1 数据连接 创建一个到DLI的连接，数据连接类型选择“数据湖探索（DLI）”，数据连接名称设置为“dli”。 完成设置后，单击“测试”，测试成功后单击“确定”，完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后，跳转到数据开发页面。 图3 跳转到数据开发页面 参见图4，在DLI连接上右键单击，创建一个数据库用于存放数据表，数据库名称为“BI”。 图4 创建数据库 创建一个DLI SQL脚本，以通过DLI SQL语句来创建数据表。 图5 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句，并单击“运行”来创建数据表。其中，user、product、comment、action为OBS外表，使用指定OBS路径中的CSV文件来填充数据，用于存放原始数据；top_like_product和top_bad_comment_product为DLI表，用于存放分析结果。 create table user( user_id int, age int, gender int, rank int, register_time string) USING csv OPTIONS (path "obs://fast-demo/user_data");create table product( product_id int, a1 int, a2 int, a3 int, category int, brand int) USING csv OPTIONS (path "obs://fast-demo/product_data");create table comment( deadline string, product_id int, comment_num int, has_bad_comment int, bad_comment_rate float) USING csv OPTIONS (path "obs://fast-demo/comment_data");create table action( user_id int, product_id int, time string, model_id string, type string) USING csv OPTIONS (path "obs://fast-demo/action_data");create table top_like_product(brand int, like_count int);create table top_bad_comment_product(product_id int, comment_num int, bad_comment_rate float); 图6 创建数据表 关键参数说明： 数据连接：步骤4中创建的DLI数据连接。 数据库：步骤6中创建的数据库。 资源队列：可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低，可能会出现无法支持建表语句执行的报错，这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行，可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列，仅用于用户体验，用户间可能会出现抢占资源的情况，不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况，建议您在业务低峰期再次重试，或选择自建队列运行业务。 脚本运行成功后，可以通过如下脚本检查数据表是否创建成功。 SHOW TABLES; 确认数据表创建成功后，该脚本后续无需使用，可直接关闭。

示例场景说明 本实践通过DataArts Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务（DWS）对电影评分原始数据进行分析，输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能，以及DWS SQL基本语法。 本入门示例涉及DataArts Studio数据集成、管理中心和数据开发模块，DataArts Studio各版本均可以满足使用要求。 操作流程如下： 准备工作，包括使用DataArts Studio前的准备、数据源准备、数据湖准备和认证数据准备。 创建数据迁移作业，将OBS数据迁移到DWS。 数据开发，包含创建DWS SQL脚本和开发作业。 创建DWS SQL脚本top_rating_movie（用于存放评分最高的Top10电影） 创建DWS SQL脚本top_active_movie（用于存放最活跃的Top10电影） 开发并调度作业，通过编排作业和配置作业调度策略，定期执行作业，使得用户可以每天获取到最新的Top10电影结果。 服务退订，如果不再使用DataArts Studio及相关服务，请及时进行退订和资源删除。 父主题： 初级版：基于DWS的电影评分数据集成与开发流程

步骤4：服务退订 本开发场景中，DataArts Studio、OBS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用： SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。 EIP服务：如果您为数据集成集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 DEW服务：在数据集成或创建管理中心连接时，如果启用了KMS，则会产生密钥管理费用，收费标准请参见DEW价格详情。 在场景开发完成后，如果您不再使用DataArts Studio及相关服务，请及时进行退订和资源删除，避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费，套餐包暂不支持退订。本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts Studio后可以一并删除。 DWS DWS计费说明 DWS服务支持按需和包周期计费。本例中使用按需计费，完成后删除DWS集群即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除DWS集群。 SMN SMN计费说明 SMN服务按实际用量付费，退订DataArts Studio服务后不会再产生通知，您也可以直接删除SMN服务已产生的主题和订阅。 EIP EIP计费说明 EIP服务支持按需和包周期计费，本例中使用按需计费，完成后删除EIP即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除EIP。 DEW DEW计费说明 KMS密钥管理按密钥实例进行按需计费，您可以直接删除DEW服务已产生的KMS密钥。 父主题： 初级版：基于DWS的电影评分数据集成与开发流程

准备数据湖 在使用DataArts Studio前，您需要根据业务场景选择符合需求的云服务或数据库作为数据底座，由数据底座提供存储和计算的能力，DataArts Studio基于数据底座进行一站式数据开发、治理和服务。 DataArts Studio平台支持对接如DLI、DWS、MRS Hive等云服务，也支持对接如MySQL、Oracle等传统数据库，支持程度各有不同，详情请参见DataArts Studio支持的数据源章节。 本示例选择 MapReduce服务 （MRS）的Hive组件作为DataArts Studio平台的数据底座。您需要先创建一个MRS安全集群（即开启“Kerberos认证”的MRS集群，安全性更强），具体操作请参见创建集群。 为确保MRS集群与DataArts Studio实例网络互通，MRS集群需满足如下要求： MRS集群必须包含Hive组件。 如需使用基于DataArts Studio数据架构的数据标准自动生成质量作业的功能，MRS集群版本必须是2.0.3及以上版本，集群必须包含Hive和Spark组件，集群总节点数至少4个。本示例需要使用该功能，因此必须满足这个条件。 如果选择集群后连接失败，请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。 当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。

使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成 注册华为账号 、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列操作。然后进入到对应的工作空间，即可开始使用DataArts Studio。 本入门示例，为了演示DataArts Studio数据治理的全流程，华为账号需要具有DataArts Studio的所有执行权限。

创建数据表 基于样例数据，创建一个原始表，用于存储原始数据。从文件迁移到数据库的场景，您需要预先创建目标数据表。由于本示例的数据源源端为OBS上的CSV文件，而非数据库，在使用DataArts Studio数据集成将数据迁移上云时，不支持自动创建目标表的功能，因此，您需要在目的端（MRS服务）先建好表。 在使用DataArts Studio进行数据集成时，关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表。这种情况下可以不提前在目的端数据库中预先创建目标表。 执行如下SQL语句，在demo_sdi_db数据库中，创建一个原始表，用于存储原始数据。 在本示例中，您可以参考以下任意一种方式在MRS Hive中创建数据表。 您可以在DataArts Studio数据开发模块中，可视化方式创建数据表，具体操作请参见新建数据表章节。 您可以通过在DataArts Studio数据开发模块或MRS客户端上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。在DataArts Studio数据开发模块开发脚本的具体操作请参见开发SQL脚本章节；在MRS客户端开发脚本的具体操作请参见从零开始使用Hive 在demo_sdi_db数据库中创建一个原始数据表的Hive SQL命令如下所示： DROP TABLE IF EXISTS `sdi_taxi_trip_data`;CREATE TABLE demo_sdi_db.`sdi_taxi_trip_data` ( `VendorID` BIGINT COMMENT '', `tpep_pickup_datetime` TIMESTAMP COMMENT '', `tpep_dropoff_datetime` TIMESTAMP COMMENT '', `passenger_count` BIGINT COMMENT '', `trip_distance` DECIMAL(10,2) COMMENT '', `ratecodeid` BIGINT COMMENT '', `store_fwd_flag` STRING COMMENT '', `PULocationID` STRING COMMENT '', `DOLocationID` STRING COMMENT '', `payment_type` BIGINT COMMENT '', `fare_amount` DECIMAL(10,2) COMMENT '', `extra` DECIMAL(10,2) COMMENT '', `mta_tax` DECIMAL(10,2) COMMENT '', `tip_amount` DECIMAL(10,2) COMMENT '', `tolls_amount` DECIMAL(10,2) COMMENT '', `improvement_surcharge` DECIMAL(10,2) COMMENT '', `total_amount` DECIMAL(10,2) COMMENT '');

创建数据库 根据数据湖治理落地流程，建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库，从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念，此处先简单了解即可，在数据架构时将深入了解与操作。 SDI (Source Data Integration)，又称贴源数据层。SDI是源系统数据的简单落地。 DWI (Data Warehouse Integration)，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 DWR (Data Warehouse Report)，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 DM (Data Mart)，又称数据集市。DM面向展现层，数据有多级汇总。 创建数据库的操作，一般您需要在数据湖产品中完成。 在本示例中，您可以参考以下任意一种方式在MRS Hive中创建数据库。 您可以在DataArts Studio数据开发模块中，可视化方式创建数据库，具体操作请参见新建数据库章节。 您可以通过在DataArts Studio数据开发模块或MRS客户端上，开发并执行用于创建数据库的SQL脚本，从而创建数据库。在DataArts Studio数据开发模块开发脚本的具体操作请参见开发SQL脚本章节；在MRS客户端开发脚本的具体操作请参见从零开始使用Hive章节。创建数据库的Hive SQL命令如下所示： --创建SDI贴源层数据库CREATE DATABASE demo_sdi_db;--创建DWI多源整合层数据库CREATE DATABASE demo_dwi_db;--创建DWR明细数据层数据库CREATE DATABASE demo_dwr_db;--创建DM数据集市层数据库CREATE DATABASE demo_dm_db;

流程简介 本入门指导将参考如表1所示的流程，实现示例场景的数据治理。 表1 DataArts Studio数据治理流程 主流程 说明 子任务 操作指导 步骤1：流程设计 在使用DataArts Studio前，您需要进行业务调研和需求分析设计。 需求分析、业务调研与业务流程设计 需求分析 业务调研 步骤2：数据准备 如果您是第一次使用DataArts Studio，请先完成创建DataArts Studio实例、创建工作空间等一系列操作。 使用DataArts Studio前的准备 准备工作 步骤3：数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 可以将离线或历史数据集成到云上。提供同构/异构数据源之间数据集成的服务，支持单表/文件迁移、整库迁移、增量集成，支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成 创建集群 新建数据迁移的源连接、目的连接 新建表/文件迁移作业 步骤4：元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据层进行管理和监控，必须先对其元数据进行采集并监控。 元数据采集 采集并监控元数据 步骤5：数据架构设计 数据架构以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发，定位于数据治理流程设计落地阶段，输出成果用于指导开发人员实践落地数据治理方法论。 准备工作 添加审核人 管理配置中心 主题设计 主题设计 标准管理 新建码表并发布 新建数据标准并发布 关系建模 数仓规划：新建SDI层和DWI层两个模型 维度建模 维度建模：在DWR层新建并发布维度 维度建模：在DWR层新建并发布事实表 指标设计 指标设计：新建并发布技术指标 数据集市建设 数据集市：在DM层新建并发布汇总表 步骤6：数据开发处理 可管理多种大数据服务，提供一站式的大数据开发环境。 使用DataArts Studio数据开发，用户可进行数据管理、脚本开发、作业开发、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。 数据管理 数据管理 脚本开发 脚本开发 作业开发 作业开发 运维调度 运维调度 步骤7：数据质量监控 对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的标准化，能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。 业务指标监控 监控业务指标 数据质量监控 查看质量作业 步骤8：数据资产查看 在DataArts Studio数据目录模块中，您可以查看数据地图。 数据地图 查看业务资产和技术资产 步骤9：服务退订 进行服务退订，避免持续产生费用。 服务退订 服务退订（可选）

指标设计：新建并发布技术指标 在本示例中，您需要新建如表14和表15所示的技术指标： 表14 原子指标 *指标名称 *指标英文名称 数据表 *所属主题 *设定表达式 描述 总车费 sum_total_amount 行程订单 行程事实 sum (总车费) 无 表15 衍生指标 指标 *数据表 *所属主题 *原子指标 统计维度 时间限定 通用限定 基于付款方式维度统计总车费 行程订单 记录统计 总车费 付款方式 无 无 基于费率代码维度统计总车费 行程订单 记录统计 总车费 费率代码 无 无 基于供应商和下车时间维度统计总车费 行程订单 记录统计 总车费 供应商，行程订单.下车时间 无 无 在数据架构控制台，单击左侧导航树中的“技术指标”，进入技术指标页面。 新建一个原子指标“总车费”，用于统计总车费。 在技术指标页面，进入“原子指标”标签页，然后单击“新建”按钮。 在新建原子指标页面配置如下，配置完成后单击“发布”。 图45 原子指标 等待审核人审核通过。审核通过后，原子指标就创建好了。 当原子指标通过审核后，新建以下3个衍生指标。 总车费(付款方式)：基于付款方式维度统计总车费 在技术指标页面，进入“衍生指标”标签页，然后单击“新建”按钮，在新建衍生指标页面，配置如下。配置完成后，单击“试运行”，并在弹出窗口中单击“执行”，如果运行通过单击“保存”。 图46 总车费（付款方式） 总车费(费率代码)：基于费率代码维度统计总车费 在技术指标页面，进入“衍生指标”标签页，然后单击“新建”按钮，在新建衍生指标页面，配置如下。配置完成后，单击“试运行”，并在弹出窗口中单击“执行”，如果运行通过单击“保存”。 图47 总车费(费率代码) 截止当日_总车费(供应商,行程订单.下车时间)：基于供应商维度统计总车费 在技术指标页面，进入“衍生指标”标签页，然后单击“新建”按钮，在新建衍生指标页面，配置如下。配置完成后，单击“试运行”，并在弹出窗口中单击“执行”，如果运行通过单击“保存”。 图48 总车费(供应商) 返回技术指标页面的“衍生指标”标签页后，勾选建好的3个衍生指标，单击“发布”，在弹出框中选择审核人，单击“确认提交”，等待审核人员审核通过后，事实表发布成功。如果当前账号具备审核人权限，也可以勾选“自助审批”，直接提交即可以审核通过。

新建数据标准并发布 在本示例中，您需要新建如表6所示的3个数据标准： 表6 数据标准 目录 *标准名称 *标准编码（自定义） *数据类型 数据长度 引用码表 *码表字段 描述 付款方式 付款方式 payment_type 长整型(BIGINT) 无 付款方式 付款方式编码 无 供应商 供应商 vendor 长整型(BIGINT) 无 供应商 供应商id 无 费率 费率代码 rate_code 长整型(BIGINT) 无 费率代码 费率id 无 在数据架构控制台，单击左侧导航树中的“数据标准”，进入数据标准页面。 首次进入“数据标准”页面，需要定制模板，定制的模板后续可以在配置中心进行更改。本示例需要额外勾选“引用码表”，如图所示。 图16 新建数据标准目录 请参考以下步骤，分别新建3个数据标准的目录：付款方式、供应商、费率。 在数据标准页面的目录树上方，单击新建目录，然后在弹出框中输入目录名称“付款方式”并选择目录，单击“确定”完成目录的新建。 图17 新建数据标准目录 请参考以下步骤，分别新建3个数据标准：付款方式、供应商、费率。 在数据标准页面的目录树中，选中所需要的目录，然后在右侧页面中单击“新建”。 在新建数据标准页面中，3个数据标准可分别参考如下配置，配置完成后单击“保存”。在本示例中，数据标准模板只选取了几个参数，您可以参考配置中心的“标准模板管理”定制数据标准模板。 图18 数据标准-付款方式 图19 数据标准-供应商 图20 数据标准-费率代码 返回数据标准页面后，在列表中勾选刚才新建的3个数据标准，然后单击“发布”发布数据标准。 在“批量发布”对话框中选择审核人，再单击“确认提交”，等待审核人员审核通过后，数据标准发布成功。如果当前账号具备审核人权限，也可以勾选“自助审批”，直接提交即可以审核通过。

主题设计 在本示例中，主题设计如表1所示，说明如下： 新建1个主题域分组：城市交通。 在主题域分组“城市交通”下，新建4个主题域：行程记录、集团、时空、公共维度。 在主题域“行程记录”下，新建4个业务对象：原始记录、标准记录、行程事实、记录统计。 在主题域“集团”下，新建1个业务对象：供应商。 在主题域“时空”下，新建1个业务对象：时间。 在主题域“公共维度”下，新建1个业务对象：公共维度。 表1 主题设计信息 主题域分组名称（L1） 主题域分组编码（L1） 主题 域名 称（L2） 主题域编码（L2） 业务对象名称（L3） 业务对象编码（L3） 城市交通 city_traffic 行程记录 stroke_reminder 原始记录 origin_stroke 标准记录 stand_stroke 行程事实 stroke_fact 记录统计 stroke_statistic 集团 people 供应商 vendor 时空 time_location 时间 date 公共维度 public_dimension 公共维度 public_dimension 图3 主题设计 操作步骤如下： 登录DataArts Studio控制台。找到已创建的DataArts Studio实例，单击实例卡片上的“进入控制台”。 在工作空间概览列表中，找到所需要的工作空间，单击“数据架构”，进入数据架构控制台。 在数据架构控制台，单击左侧菜单栏的“配置中心”。选择“ 主题流程配置”，使用默认的3层层级。 L1-L7表示主题层级，默认3层，最大7层，最少2层，最后一层是业务对象，其他层级名称可编辑修改。配置中心配置的层级数，将在“主题设计”模块生效。 图4 配置主题层级 在数据架构控制台，单击左侧菜单栏的“主题设计”，进入相应页面后，单击“新建”创建L1层主题，即主题域分组。 图5 新建L1层主题 在弹出窗口中，按图5所示填写参数，然后单击“确定”完成主题域分组的创建。 主题域分组创建完成后，您需要勾选主题域分组，并单击“发布”，发布主题域分组。在弹出的“批量发布”对话框中选择审核人，再单击“确认提交”，等待审核人员审核通过后，主题域分组发布成功。如果当前账号具备审核人权限，也可以勾选“自助审批”，直接提交即可以审核通过。 图6 发布主题域分组 在L1层主题“城市交通”下，依次新建4个L2层主题，即主题域：行程记录、集团、时空、公共维度。 以主题域“行程记录”为例，新建主题域的步骤如下，其他主题域也请参照以下步骤进行添加： 选中已创建的L1层主题“城市交通”。单击右键，选择“新建”。或者单击右侧的“新建”按钮。 图7 创建L2层主题 在弹出窗口中，“名称”和“编码”请参照表1中的“主题域名称”和“主题域编码”进行填写，其他参数可根据实际情况进行填写，配置完成后单击“确定”完成主题域的新建。 主题域创建完成后，您需要勾选主题域，并单击“发布”，发布主题域。在弹出的“批量发布”对话框中选择审核人，再单击“确认提交”，等待审核人员审核通过后，主题域发布成功。如果当前账号具备审核人权限，也可以勾选“自助审批”，直接提交即可以审核通过。 图8 发布主题域 新建业务对象。 在主题域“行程记录”下，新建4个业务对象：原始记录、标准记录、行程事实、记录统计。 在主题域“集团”下，新建1个业务对象：供应商。 在主题域“时空”下，新建1个业务对象：时间。 在主题域“公共维度”下，新建1个业务对象：公共维度。 以在主题域“行程记录”下新建业务对象“原始记录”为例，新建业务对象的步骤如下，其他业务对象也请参照以下步骤进行添加： 选中已创建的L2层主题“行程记录”。单击右键，选择“新建”。或者单击右侧的“新建”按钮。 在弹出窗口中，“名称”和“编码”请参照表1中的“业务对象名称”和“业务对象编码”进行填写，其他参数可根据实际情况进行填写，配置完成后单击“确定”完成业务对象新建。 业务对象创建完成后，您需要勾选业务对象，并单击“发布”，发布业务对象。在弹出的“批量发布”对话框中选择审核人，再单击“确认提交”，等待审核人员审核通过后，业务对象发布成功。如果当前账号具备审核人权限，也可以勾选“自助审批”，直接提交即可以审核通过。 图9 发布业务对象

添加审核人 在数据架构中，数据建模流程中的步骤都需要经过审批，因此，需要先添加审核人。DAYU Administrator角色或该工作空间管理员，具备对应的添加审核人的权限。 在DataArts Studio控制台首页，选择对应工作空间的“数据架构”模块，进入数据架构页面。 单击左侧导航树中的“配置中心”，进入相应页面后，在“审核人管理”页签，单击“添加”按钮。 选择审核人（工作空间管理员、开发者、自定义角色审批），输入正确的电子邮箱和手机号，单击“确定”完成审核人添加。 您也可以添加自己当前账号为审核人，在后续提交审批的相关操作中，支持进行“自助审批”。根据需要，可以添加多个审核人。 图1 添加审核人

快速入门指引 数据治理中心 DataArts Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台，基于数据湖底座，提供数据集成、开发、治理等能力。针对不同的使用场景，我们提供了不同的使用方案示例： 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本 业务能力 适用场景 免费版：基于DLI的电商BI报表数据开发流程 DLI 免费版 数据开发 对数据全生命周期管理的流程诉求较低，需要全托管的大数据调度能力，适用于开发者试用、小规模验证等场景。 初级版：基于DWS的电影评分数据集成与开发流程 DWS 初级版 数据集成+数据开发 用于大数据开发场景的数据ETL任务管理等场景，但不涉及数据治理，适用于开发者试用、小规模验证等场景。 企业版：基于MRS Hive的出租车出行的数据治理流程 MRS Hive 企业版 数据集成+数据开发+数据治理 需求全功能数据治理能力，适用于有完善的数据管理团队和体系，要进行企业信息架构、数据标准、数据模型、数据指标的落地，匹配完整的DAYU数据治理方法论。