检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio数据开发作业告警最佳实践 DataArts Studio数据开发作为大数据调度平台，如果每日频繁调度大量的大数据作业，可能会遇到如下痛点： 作业失败无感知：大数据的离线作业大部分会在凌晨执行，当作业失败时，用户无法及时得知并处理。 作业补数窗口期较短
（可选）修改作业日志存储路径 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。通过IAM，您可以： 根据企业的业务组织，在您的
身份认证与访问控制 身份认证 用户访问DataArts Studio的方式有多种，包括控制台、开放API等，无论访问方式封装成何种形式，其本质都是通过DataArts Studio提供的REST风格的API接口进行请求。 DataArts Studio的接口均需要进行认证鉴权以此
示例场景说明 本示例是一个DataArts Studio全流程入门教程，旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据，选择MRS Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标：
通过白名单授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式，通过IAM类型应用授权仅能授权给当前账号，而通过白名单授权可授权给任意账号，请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号，每个DataArts
查看数据质量报告 您可以查询业务指标、数据质量中数据对象的质量评分，来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果，包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是
新建一个对账作业实例 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。
MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。
下线/删除API 操作场景 已发布的API因为其他原因需要停止对外提供服务，可以将API从相关环境中下线，相关操作请参见下线API。 下线后的API如果要继续使用，需要重新进行发布操作，但需注意下线API不会保留原有的授权信息。 下线后的API如果确认不再提供服务，可以将API删除，相关操作请参见删除API。
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。通过IAM，您可以： 根据企业的业务组织，在您的
启用细粒度认证 在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在数据开发时，权限管控依然无法生效。 而在配置细粒度认证后，在DataArts Studio数
Java 操作场景 使用Java语言调用APP认证的API时，您需要先获取SDK，然后新建工程或导入工程，最后参考调用API示例调用API。 本章节以Eclipse 4.5.2版本为例介绍。 图1 调用流程 前提条件 已获取API的域名、ID、请求url、请求方法、AppKey和
嵌入数据水印 本章主要介绍如何进行数据水印嵌入。数据水印一般有如下场景： 规范数据外发流程 实现对企业内部人员数据外发进行有效流程化管理，非授权用户在数据外发前需审批，审批通过后采取数据水印技术生成可外发数据文件。 数据版权保护 通过在关系数据库中嵌入代表所有权的水印信息，可以将
通过应用授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式，通过IAM类型应用授权仅能授权给当前账号，而通过白名单授权可授权给任意账号，请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号，每个DataArts
（推荐）通过SDK调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用，安全级别最高。而APP认证方式的API使用SDK调用方式，支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言，可帮助您简单、快速地通过数据API获取到开放数据。
操作环境与数据准备 操作环境准备 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列操作。然后进入到对应的工作空间，即可开始使用DataArts
基本概念 账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程，请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1，表2和表3配置MRS
入门实践 当您参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列操作后，可以根据自身的业务需求使用DataArts Studio提供的一系列常用实践。 表1 常用最佳实践
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
