检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 功能介绍 创建一个新连接，当前支持的连接类型有DWS、DLI、SparkSQL、HIVE、RDS、CloudTable。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI
本章主要介绍如何通过资源权限创建权限策略到Ranger组件，实现MRS资源权限控制，从而降低企业数据信息安全风险。 当前支持创建的权限策略如下： 创建HDFS权限策略 创建Hive访问权限策略 创建Hive脱敏权限策略 创建Hive行级过滤器权限策略 创建HBase权限策略 创建Yarn权限策略 创建Kafka权限策略
管理，您可以： 支持管理DWS、MRS Hive、MRS Spark、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。 单击可以查看数据连接目录树下的数据库、数据表以及字段信息。DWS
配置数据血缘请参见通过数据目录查看数据血缘关系。数据开发作业配置了支持自动血缘的节点或手动配置节点的血缘关系后，作业执行时可以自动解析，在数据目录中展示数据血缘。 在“概要”页签，查看数据表的概要信息（当前仅支持DWS、DLI、OBS类型数据表查看概要，概要采样方式以元数据采集任务配置为准）。
性。 查看连接JSON：选择操作列的“更多 > 查看连接JSON”，以JSON文件格式查看连接参数的配置。 编辑连接JSON：选择操作列的“更多 > 编辑连接JSON”，以直接修改JSON文件的方式，修改连接参数。 查看后端连接：选择操作列的“更多 > 查看后端连接”，查看该连接对应的后端连接。
HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务（MRS Hive） Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。
列只能通过配套的 BITMAP 函数进行查询和使用。 达梦数据库迁移时支持的数据类型 源端为达梦数据库，目的端为Hive、DWS时，支持的数据类型如下： 表12 达梦数据库作为源端时支持的数据类型 类别 类型 简要释义 存储格式示例 Hive DWS 字符 CHAR 用于存储指定定长字符串。
对象存储服务OBS MRS Hudi组件（MRS Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。在Hudi表开启“同步hive表配置”后，可通过采集MRS Hive元数据的方式采集Hudi表的元数据） 详情请参见支持的数据源。 父主题： 数据目录
查看表权限的拥有者（表权限视图） 数据安全支持权限清单查看，通过表名展示当前实例下拥有表权限的工作空间用户、用户组和角色（包含空间权限集、权限集和角色）。 约束与限制 表-角色页签暂不支持展示存算分离MRS Hive的URL权限策略。 当前暂不支持在表权限视图页面直接对权限进行配置、回收。
查询连接详情（待下线） 连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 功能介绍 查询指定连接的配置详情。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id
脚本版本号，若传入版本号，则查询指定版本号的脚本；若不传入，则查询最新的版本脚本。 status 否 String 当不指定version时，可通过status查询脚本的状态。默认为SAVED，即查询的是最新提交的版本，当status为PUBLISHED时查询的是脚本的生产版本。 请求参数
对于不同类型的数据源，DataArts Studio提供了多种方式来查看表的行数。 对于DWS、DLI、RDS、MRS Presto、MRS Hive、MRS Spark、MRS ClickHouse等数据源，您可以在数据开发组件执行对应类型的统计表行数的SQL脚本，来查看表行数。 select count(*)
数据开发，左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上，可以查看到当前已经创建的目录，默认在根目录/。 connectionName 否 String 脚本关联的连接名称。当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、Shell、PRESTO、Clic
执行SQL命令ARCHIVE LOG LIST查询当前数据库的归档状态，如下结果为未开启日志归档。 Database log mode No Archive Mode #非存档模式 Automatic archival Disabled Archive destination
支持对数据源连接进行管控，控制对数据源的访问权限；分析师查询数据时，支持通过动态脱敏策略或字段访问权限来保护敏感数据。 统一数据安全策略：包括统一权限治理、敏感数据治理、隐私保护策略和数据安全运营四大能力。 数据安全组件当前在上海一、上海二、乌兰察布一、华南广州和北京四区域部署上线。
等待执行：当被依赖的作业执行失败后，当前作业会等待执行。 继续执行：当被依赖的作业执行失败后，当前作业会继续执行。 取消执行：当被依赖的作业执行失败后，当前作业会取消执行。 单击“保存”，对设置的配置项进行保存。该配置仅对新建作业有效。 依赖的作业停止时，当前作业实例的处理策略是根据配置
配置DWS源端作业参数、MRS Hive目的端作业参数，参数说明请参见配置DWS源端参数、配置MRS Hive目的端作业参数。 图4 作业配置 配置作业字段映射及任务配置，单击“保存并运行”，执行CDM作业。 在“表/文件迁移”作业列表中，查看作业执行情况。 图5 查看作业运行情况 创建数据连接
完成血缘的输出表配置后，单击确认，则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系时，参考查看数据血缘完成元数据采集，并成功完成作业调度后，即可在数据目录组件查看手动配置的MRS Spark节点血缘关系。 父主题： 通过数据目录查看数据血缘关系
HBase，MRS Hive。 FusionInsight集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。 Apache集群：Apache HDFS，Apache HBase，Apache Hive。 操作场景
Studio所支持的数据库、云服务等）。 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前，需确保您已购买MRS集群，集群的“Kerberos加密类型”应为“aes256-sha1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
