-
创建LakeFormation自定义IAM策略 - 湖仓构建 LakeFormation
akeFormation的Catalog、数据库、表的权限,您可以创建一条拒绝删除云服务的自定义策略,然后同时将Admin和拒绝策略授予用户,根据Deny优先原则,则用户可以对LakeFormation执行除了删除Catalog、数据库、表外的所有操作。 拒绝策略示例如下: {
-
列举库下所有表名 - 湖仓构建 LakeFormation
catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 表2 Query参数 参数 是否必选 参数类型
-
创建用户并授权使用LakeFormation - 湖仓构建 LakeFormation
修改LakeFormation元数据的数据目录的权限。 lakeformation:database:alter 修改LakeFormation元数据的数据库的权限。 lakeformation:table:alter 修改LakeFormation元数据的数据表的权限。 lakefor
-
计费说明 - 湖仓构建 LakeFormation
后续按每次计费。 计费模式 LakeFormation当前支持按需计费模式。详细的计费说明请参考表2。 表2 计费模式 计费模式 按需计费 付费方式 后付费 按照LakeFormation实例实际使用时长计费。 计费周期 秒级计费,按小时结算。 更改计费模式 暂不支持。 变更规格
-
权限管理 - 湖仓构建 LakeFormation
修改LakeFormation元数据的数据目录的权限。 lakeformation:database:alter 修改LakeFormation元数据的数据库的权限。 lakeformation:table:alter 修改LakeFormation元数据的数据表的权限。 lakefor
-
管理Catalog - 湖仓构建 LakeFormation
(可选)单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按照需求手动选择数据库存储位置。单击“确定”。 如需添加多条,可以继续单击“”进行配置。如需删除请单击“”。 “数据库存储位置”为可选参数。如果配置了该参数,则该Catalog下的数据库位置必须选择为该C
-
根据表名列举表信息 - 湖仓构建 LakeFormation
String catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。
-
列举库下所有函数名称 - 湖仓构建 LakeFormation
catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 表2 Query参数 参数 是否必选 参数类型
-
数据权限概述 - 湖仓构建 LakeFormation
DROP 删除数据库。 DESCRIBE 查看数据库的元数据信息或切换数据库。 LIST_TABLE 查看数据库下资源列表。 LIST_FUNC 查看某一数据库下的函数。 CREATE_TABLE 在数据库中创建表。 CREATE_FUNC 在数据库中创建函数。 表 ALL 表的所有操作权限。
-
分页获取表的描述信息 - 湖仓构建 LakeFormation
objects 表元数据列表。 page_info PagedInfo object 分页返回信息。 表5 TableMeta 参数 参数类型 描述 catalog_name String catalog名称。 database_name String 数据库名称。 table_name
-
概述 - 湖仓构建 LakeFormation
实例,您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。 支持的主要操作请参见API概览。
-
管理函数 - 湖仓构建 LakeFormation
“函数位置”为可选参数。 如果函数所属数据库配置了“函数存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的路径及其子路径、或“函数存储位置”的路径及其子路径。 单击“提交”。 创建完成后,即可在“函数”页面查看函数名称/ID、所属Catalog、所属数据库、类型、函数类名等信息。
-
根据条件分页列举表信息 - 湖仓构建 LakeFormation
String catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。
-
创建LakeFormation实例 - 湖仓构建 LakeFormation
B(for MySQL)实例等资源的使用率最大化。 独享:按照每秒查询率(QPS)上限和元数据使用量进行计费。 独享 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 xxx 计费模式 实例的计费模式。 按需收费:
-
数据权限 - 湖仓构建 LakeFormation
数据目录(CATALOG):LakeFormation管理的数据目录,可以包含多个数据库。 数据库(DATABASE):LakeFormation管理的数据库,可以包含多个数据表或函数。 数据表(TABLE):LakeFormation管理的数据表,可以包含多个列。 列(COLUMN):LakeFormation管理的列。
-
创建函数 - 湖仓构建 LakeFormation
String catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
-
什么是LakeFormation - 湖仓构建 LakeFormation
LakeFormation提供数据湖元数据Catalog、数据库、数据表等的创建、修改、查看、删除等功能,并支持配置元数据生命周期。帮助您便捷的进行数据湖初始化构建以及持续运营,集中式的统一管理LakeFormation实例下所有的元数据,加速实现数据湖承载的业务的规划和部署。 数据权限管理 La
-
配置Spark对接LakeFormation - 湖仓构建 LakeFormation
park-sql访问LakeFormation,以下以spark-sql为例: 切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name.database_name;
-
新增授权 - 湖仓构建 LakeFormation
Catalog:在左侧导航栏选择“元数据 > Catalog”,选择待授权Catalog“操作”列的“更多 > 授权”。 数据库:在左侧导航栏选择“元数据 > 数据库”,在右上角“Catalog”后的下拉框中选择待授权数据库所属的Catalog名称,选择待授权数据库“操作”列的“更多 > 授权”。 数据表:在左侧导航栏选择“元数据
-
查看审计日志 - 湖仓构建 LakeFormation
alterCatalog 创建数据库 Database createDatabase 删除数据库 Database dropDatabase 修改数据库 Database alterDatabase 创建数据表 Table createTable 删除数据表 Table dropTable