检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例场景说明 本示例是一个DataArts Studio全流程入门教程，旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据，选择MRS Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标：
通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。 父主题： 通过不同方式调用API
小时依赖天 规则：小时作业依赖自然天的天作业，需等天作业的前一周期执行完成后再执行。 举例：A依赖B，A小时作业依赖B天作业，A每小时整点指定，B是2:30指定，那么A作业执行会依赖前一天2点30分B作业的运行实例。 天依赖分钟 规则：按自然天，天周期作业实例依赖前一天内分钟级作业的实例。
环境变量、作业参数、脚本参数有什么区别和联系？ 问题描述 环境变量、作业参数、脚本参数之间的区别与联系，需要具体举例说明下，便于用户理解。 解决方案 工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境变量参数、作业参数、脚本参数同名冲突，调用的优先级顺序为：作业参数
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
"input_tables" : [ { "database" : "wk", "schema" : null, "table" : "wk_shuju1" } ], "output_tables" : [ { "database" : "wk", "schema"
管理作业标签 作业标签用于给相同或用途类似的作业打上标签，便于管理作业，并根据标签查询作业。参考本节操作，您可管理作业标签，执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据，但导出作业时默认只导出作业，不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
全量导出/导出/导入API 操作场景 数据服务支持全量导出/批量导出/导入API，可以快速复制或迁移现有的API。 约束限制 全量导出必须具备 Administrator或Tenant Administrator权限。 每个工作空间每分钟仅能全量导出一次，同时只能有一个全量导出任务执行。
查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？ 问题现象 查看数据开发的节点日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限”，如下图所示： 图1 提示信息 原因分析 数据开发的日志存储在OBS
主题设计 主题设计是通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 您可以通过以下两种方式进行主题设计： 新建主题并发布 手动新建并发布主题。 导入主题设计信息 如果主题信息比较复杂，建议采用导入方式批量导入主题信息。 您可以下载系统提供
示例场景说明 本实践通过DataArts Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务（DWS）对电影评分原始数据进行分析，输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能，以及DWS
CDM作业配置管理 CDM作业管理界面的“配置管理”页签，主要操作如下： 最大抽取并发数 定时备份/恢复 作业参数的环境变量 最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步，在任意一处修改即可生效。 CD
管理中心 DataArts Studio支持连接哪些数据源？ 创建数据连接需要注意哪些事项？ DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ DWS数据连接开启SSL时测试连接失败怎么办？
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏，包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放，每级
通过API工具调用IAM认证方式的API IAM认证方式的API调用前，需要调用IAM服务的获取用户Token接口获取Token，然后通过Token进行安全认证。 本章节以Postman工具为例，为您介绍如何使用API工具调用IAM认证方式的API，主要包含如下几步： 获取API
DLI权限同步时，需要该权限。 例如DLI权限同步时，如果无此权限会导致同步失败，系统提示权限不足。 DLI权限管理时必选 dli:database:grantPrivilege dli:table:grantPrivilege dli:column:grantPrivilege
Env内嵌对象 Env内嵌对象提供了获取环境变量值的方法。 方法 表1 方法说明 方法 描述 示例 String get(String name) 获取指定名称环境变量值。 获取环境变量名称为test的参数值： #{Env.get("test")} 举例 获取环境变量名称为test的参数值，EL表达式如下：
String 数据服务的版本类型，指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 否 String 消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为
批量配置作业 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 单击作业目录中的，选择“显示复选框”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
