检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍了湖仓构建LakeFormation服务各特性版本的功能发布和对应的文档动态,欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予Admin的系统策略,但不希望用户拥有删除LakeFormation的Catalog、数据库、表的权限,您可以创建一条拒绝删除云服务的自定义策略,然后同时将
data_statistic_enable Boolean 数据概况统计开关。默认状态为关,若要开启database下table的数据概况统计,需要先打开database的数据概况开关。database此开关开启后,database下所有table都会默认开启此开关 parameters Map<String
0。 branch_name 否 String 分支名称。只能包含字母、数字和下划线,且长度为1~32个字符。默认值为main。 owner 否 String catalog所有者。只能包含字母、数字和下划线,且最大长度为128个字符。 owner_type 否 String 所
0。 branch_name 否 String 分支名称。只能包含字母、数字和下划线,且长度为1~32个字符。默认值为main。 owner 否 String catalog所有者。只能包含字母、数字和下划线,且最大长度为128个字符。 owner_type 否 String 所
通过这些接口,您可以创建数据表、删除数据表等。 数据表统计 数据表统计接口,包括获取数据表的列统计信息、删除指定列统计信息等接口。 通过这些接口,您可以获取数据表的列统计信息、删除指定列统计信息等。 分区管理 分区管理接口,包括创建、删除分区的等接口。 通过这些接口,您可以创建分区、删除分区等。 分区统计信息
number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo
number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
可选参数,关闭OBS文件系统缓存,长任务需要增加该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site
on中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制
number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo
String 函数名称通配符。只能包含字母、数字和_|*.特殊字符,且最大长度为256个字符。 limit 否 Integer 查询返回条数。默认值为1000。最小值为1,最大值为2000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page
catalog所有者。LakeFormation服务分为一期和二期,一期响应Body无该参数。 owner_type String 所有者类型,USER-用户,GROUP-组,ROLE-角色。LakeFormation服务分为一期和二期,一期响应Body无该参数。 枚举值: USER ROLE
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 function_name 是 String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对LakeFormati
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将云服务资源委托给更专业、高效的其他账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节。 本章节为您介绍对用户授权的方法,操作流程如图1所示。
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 function_name 是 String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 database_pattern 否 String 数据库名称通配符。只能包含中文、字母、数字和_-|*.特殊字符,且长度为1~128个字符。
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database 否 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1到128个字符。 function 否 String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。