检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置元数据采集任务 本章主要介绍如何通过配置元数据采集策略新建采集任务，不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略，采集对应的技术元数据信息。 约束与限制 当元数据采集任务未指定采集范围时，默认采集该数据连接下的所有数据表/文件。采集任务运行完成后，如果该数据连接下有新增数据表
ModelArts Train 功能 通过编排ModelArts Train算子，实现在DataArts Studio中调度ModelArts工作流。 前提条件 已在ModelArts平台中完成工作空间的创建，具体请参考创建工作空间。 已在ModelArts平台中完成工作流的创建，
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
调试API 功能介绍 调试API。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/test 表1 路径参数 参数 是否必选 参数类型 描述 project_id
新建作业 作业由一个或多个节点组成，共同执行以完成对数据的一系列操作。开发作业前请先新建作业。 前提条件 作业在每个工作空间的最大配额为10000，作业目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。 新建普通目录 如果已存在可用的目录，则可以跳过当前操作。
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发，请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业，请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的
修改资源 功能介绍 此接口可以修改指定资源，修改时，请指定资源ID。 资源类型和资源目录不支持修改。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/resources/{resource_id}
公共消息头 公共请求消息头 公共请求消息头如表1所示。 表1 公共请求消息头 名称 描述 是否必选 示例 Content-Type 消息体的类型（格式），默认取值为“application/json”。 如果请求消息体中含有中文字符，则还需要通过charset=utf8指定中文字符集
MySQL同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库（5.6、5.7、8.x版本） DWS集群（8.1.3、8.2.0版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求
查询敏感数据保护模块诊断结果 功能介绍 查询敏感数据保护模块诊断结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/sensitive-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id
MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、
MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数
MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程，请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1，表2和表
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置
新建事实表 归属于某个业务过程的事实逻辑表，可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀，从而便于提取业务中事务相关的明细数据。 新建事实表并发布 在DataArts Studio控制台首页，选择对应工作空间的“数据架构”模块，进入数据架构页面
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文
API授权操作(授权/取消授权/申请/续约) 功能介绍 API主动授权： API审核人可发起，API主动授权成功后，在有效期内，APP即可访问该API。API授权包含授权和续约两部分功能。 授权：授权会给予APP在有效期内访问API的权利。 续约：续约会更新授权有效期，仅支持延长有效期
数据安全概述 数据安全以数据为中心，基于数据动态流动场景，构建全链路数据湖安全的解决方案，全方位保障数据湖安全，以此满足不同角色（如数据开发工程师，数据安全管理员，数据安全审计员和数据安全运营人员）对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资源主体
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
