检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 version_id
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 version_id
2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 version_id
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
obs路径权限策略作为查询条件, 查询所有包含该obs路径的元数据权限。 resource_name 否 String 元数据资源全名。长度为1~1000个字符。 resource_type 否 String 元数据资源类型:CATALOG、DATABASE、TABLE、FUNC
创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。 方式一:下载客户端发行版
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。 partition_id
任务名称。 type String 任务类型:METADATA_MIGRATION:元数据迁移任务、PERMISSION_MIGRATION:数据权限迁移任务、METADATA_DISCOVERY:元数据发现任务。 枚举值: METADATA_MIGRATION PERMISSION_MIGRATION
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
OPERATE USE 表5 ResourceInput 参数 是否必选 参数类型 描述 resource_type 是 String 元数据资源类型:CATALOG、DATABASE、TABLE、FUNC、MODEL、DATASET、COLUMN、URI。 枚举值: CATALOG
DatabaseInfo objects 子数据库信息。 name 是 String catalog名。 models 否 Array of ModelInfo objects 子模型信息。 datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。 partition_id
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。 partition_id
0万次,这里返回200万,元数据个数,单位是万个,前100万个免费,计费标准是5元每10万个,这里返回110。 free_usage_value Integer 免费使用额度,例如api调用次数,单位是次,前100万次调用免费,这里返回100万,元数据个数,单位是万个,前100万个免费,这里返回100。
DatabaseInfo objects 子数据库信息。 name 是 String catalog名。 models 否 Array of ModelInfo objects 子模型信息。 datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo