检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线，且长度为
权限列表 工作空间成员共有管理员、开发者、部署者、运维者和访客五种预置角色，并支持自定义角色。 管理员：工作空间管理员，拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。 开发者：开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2
购买数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包，系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台，提供了快速将数据表生成数据API的能力，帮助您简单、快速、低成本、低风险地实现数据开放。
如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情请参考如下操作指导： 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源，DataArts
开发实时处理单任务MRS Flink SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的实时处理Flink SQL作业，请您参考开发SQL脚本、配置作业参数、保存作业和模板章节。 前提条件 已新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作业
源端为PostgreSQL，目的端为DWS 本章节适用于配置实时处理集成作业的PostgreSQL到DWS链路，期望将源端1个或多个PostgreSQL实例的数据实时同步到目的端为DWS数据库的场景。 整库：适用于将1个源端为PostgreSQL实例上的多个数据库表实时同步到1个目标端为
开发批处理单任务SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的批处理作业，请您参考开发SQL脚本、配置作业参数、质量监控、数据表、调测并保存作业和下载或转储脚本执行结果章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作业
什么是数据治理中心DataArts Studio 企业数字化转型面临的挑战 企业在进行数据管理时，通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论，数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具，数据找不到。 缺乏技术元数据与业务元数据的关联
简易变量集参考 简易变量集提供了一系列自定义的变量，自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内，任务预期调度运行时间的前一天
DataArts Studio支持的数据源 在使用DataArts Studio前，您需要根据业务场景选择符合需求的云服务或数据库作为数据底座，由数据底座提供存储和计算的能力，DataArts Studio基于数据底座进行一站式数据开发、治理和服务。 DataArts Studio
数据治理组织职责 在战略层面，由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向，以构建数据文化和氛围为纲，整体负责数据治理工作的开展、政策的推广和执行，并作为数据治理问题的最终决策组织解决争议，监控和监督数据治理工作的绩效，并确保数据治理工作预算支持
数据架构使用流程 DataArts Studio数据架构的流程如下： 图1 数据架构流程 准备工作： 添加审核人：在数据架构中，业务流程中的步骤都需要经过审批，因此，需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 管理配置中心：数据架构中提供了丰富的自定义选项
数仓规划 数仓规划，目前系统默认的数仓分层包含SDI、DWI、DWR、DM（Data Mart）等4层，支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。 关系建模下包含SDI层和DWI层两层模型，物理模型归属于两层模型之一。 SDI：Source Data Integration
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。通过IAM，您可以： 根据企业的业务组织，在您的华为账号中
修改作业 功能介绍 此接口可以对一个作业进行编辑。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/jobs/{job_name} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明
查询作业详情 功能介绍 此接口可以查询指定DLF作业定义。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}?version={version} 参数说明 参数名 是否必选
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。通过IAM，您可以： 根据企业的业务组织，在您的华为账号中
创建作业 功能介绍 此接口可以创建一个新作业，作业由一个或多个相互依赖的节点构成，支持Hive SQL、CDM Job等节点。DLF有两类型作业：批处理作业和实时作业。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{
MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
