检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一站式可视化湖仓构建：提供数据湖元数据统一定义和授权的可视化界面，支持用户便捷操作，快速构建。 联动授权：支持在元数据授权的同时，自动化完成元数据所映射的文件目录的授权，使用户授权操作更便捷和高效。 细粒度访问控制：实现针对数据湖的库、表、列级元数据的细粒度访问控制，为业务数据的安全性提供有力保障。
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
CTS可以提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。 父主题： 安全
应用示例 外部服务接入LakeFormation
"create_time": "2023-06-29T12:12:12.000+00:00" } 参考目录管理相关接口，使用上述步骤获取的接入IP与实例ID访问元数据管理相关接口，获取目录列表。 请求示例： GET https://{endpoint}/v1/{project_id}/instances
元数据发现 操作场景 当数据存储在OBS并行文件系统中，而在LakeFormation还未与对应的元数据关联时，可以通过元数据发现，来构造这些数据对应的元数据信息，从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段，公测期产品完全免费，商业化后会根据元数据发现消耗资源收取资源费用。
应用开发简介 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型：提供兼容Hive元数据模型的SDK客户端，使计算引擎对接LakeFormation更轻松和高效。 兼
管理数据表 用户在数据目录（Catalog）中可对元数据库和元数据表进行管理，按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
元数据数量统计 功能介绍 元数据数量统计接口。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{in
简介 在进行湖仓构建应用开发时，要准备的环境如表1所示。 同时需要准备运行调测的环境，用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例，或者使用已有LakeFormation实例。 创建客户端
“元数据过滤策略”选择“按自定义规则”时配置该参数。 迁移元数据对象 勾选待迁移的元数据对象。“元数据过滤策略”选择“按元数据类型”时配置该参数。 全选：迁移数据库、函数、数据表、分区 Database：数据库 Function：函数 Table：数据表 Partition：分区
DELETE_PARTITION metadata_object Object 元数据对象，包含元数据操作类型对应的元数据信息，如库、表信息等。 original_metadata_object Object 原元数据对象，包含元数据操作类型对应的元数据信息，如库、表信息等。 状态码： 400 表7 响应Body参数
动选择数据表存储位置，单击“确定”。支持添加多条。 “数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。 如果配置了该参数，则该数据库下的数据表位置必须是该数据库“数据表存储位置”的子路径、或数据库“选择位置”的子路径。
database_name String 数据库名称。 database_id String 数据库ID。 database_status Integer 数据库状态：0表示正常，1表示删除中，2表示已删除，3表示恢复中。 external_database_id String 用户端数据库id，创建时指定，不可修改。
删除数据库 功能介绍 删除指定数据库，catalog的默认数据库不允许删除。 cascade: 指定为true时，删除数据库下的表；指定为false时，只能删除空的数据库。 delete_data: 指定为true时，级联删除会将表的数据放入回收站；指定为false时，不删除表数据。
数据目录（CATALOG）：LakeFormation管理的数据目录，可以包含多个数据库。 数据库（DATABASE）：LakeFormation管理的数据库，可以包含多个数据表或函数。 数据表（TABLE）：LakeFormation管理的数据表，可以包含多个列。 列（COLUMN）：LakeFormation管理的列。
database_name String 数据库名称。 database_id String 数据库ID。 database_status Integer 数据库状态：0表示正常，1表示删除中，2表示已删除，3表示恢复中。 external_database_id String 用户端数据库id，创建时指定，不可修改。
DESCRIBE 查看数据库的元数据信息或切换数据库。 LIST_TABLE 查看数据库下资源列表。 LIST_FUNC 查看某一数据库下的函数。 CREATE_TABLE 在数据库中创建表。 CREATE_FUNC 在数据库中创建函数。 表 ALL 表的所有操作权限。 ALTER 修改表。
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统，可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击，选择“存储
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
