检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。 父主题: 安全
列举全量分区值列表 功能介绍 遍历分区名称列表信息,返回全量的数据。 对于事务表,支持基于表的特定版本遍历分区名称列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
创建LakeFormation实例 删除LakeFormation实例 管理元数据 管理Catalog 管理数据库 管理数据表 管理函数 数据权限授权 数据权限授权简介 新增授权 取消授权 查询授权 角色授权 创建接入管理客户端 接入管理 管理数据迁移 元数据迁移 权限迁移 常见问题 了解更多常见问题、案例和解决方案
x 订阅元数据事件 √ √ x 取消订阅元数据事件 √ √ x 查询元数据事件 √ √ √ 查询Catalog元数据 √ √ √ 创建Catalog元数据 √ √ x 修改Catalog元数据 √ √ x 删除Catalog元数据 √ √ x 查询Database元数据 √ √ √
lakeformation:database:create 创建数据库元数据。 lakeformation:database:drop 删除数据库元数据。 lakeformation:dataset:create 创建数据集元数据。 lakeformation:file:create 创建文件。
通过这些接口,您可以创建目录、删除目录等。 数据库管理 数据库管理接口,包括创建、删除数据库等接口。 通过这些接口,您可以创建数据库、删除数据库等。 数据表管理 数据表管理接口,包括创建、删除数据表等接口。 通过这些接口,您可以创建数据表、删除数据表等。 数据表统计 数据表统计接口,包括获取数据表的列统计信息、删除指定列统计信息等接口。
LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。 MapReduce服务(MapReduce Service,MRS) LakeFormation与MRS集群中的Ranger、Hive、Spark对接,实现湖、仓元数据统一管理。 数据仓库服务 GaussDB(DWS)
security_group_id 否 String 元数据迁移时数据源所在的vpc的安全组id migration_filter_type 否 String 元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。
security_group_id String 元数据迁移时数据源所在的vpc的安全组id migration_filter_type String 元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。
security_group_id 否 String 元数据迁移时数据源所在的vpc的安全组id migration_filter_type 否 String 元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。
校验压缩包:下载后在Windows环境下执行certutil -hashfile <压缩包> sha256,检查回显信息与对应sha256文件内容是否一致。 方式二:本地编译客户端 获取客户端代码。 获取地址为:https://gitee.com/HuaweiCloudDeveloper/h
示例2:拒绝用户删除数据 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予Admin的系统策略,但不希望用户拥有删除LakeFormation的Catalog、数据库、表的权
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 version_id
ql为例: 切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name.database_name; 查看表信息: show tables; 创建数据库(无法直接创建与
校验压缩包:下载后在Windows环境下执行certutil -hashfile <压缩包> sha256,检查回显信息与对应sha256文件内容是否一致。 方式二:本地编译客户端 获取客户端代码。 获取地址为:https://gitee.com/HuaweiCloudDeveloper/h
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 version_id
2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果执行MRS对接LakeFormation,则参考MRS准备工作创建相关委托等。 创建LakeFormation实例 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 L
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
任务名通配符,用于任务名的匹配。 type 是 String METADATA_MIGRATION:元数据迁移、 PERMISSION_MIGRATION:数据权限迁移、 METADATA_DISCOVERY:元数据发现。 枚举值: METADATA_MIGRATION PERMISSION_MIGRATION