检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"name": "username", //用户名 "password": "********", //用户名对应的密码 "domain": { "name": "domainname" //用户名所属的租户 }
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 column_type 是 String 数据类型,字段类型包括array bigint binary boolean char date decimal double float int interval
StorageDescriptor 参数 参数类型 描述 columns Array of Column objects 分区列以外的所有字段。 location String 路径地址。例如obs://location/uri/。 compressed Boolean 是否启用数据压缩。默认为false。
StorageDescriptor 参数 是否必选 参数类型 描述 columns 是 Array of Column objects 分区列以外的所有字段。 location 否 String 路径地址。例如obs://location/uri/。 compressed 是 Boolean 是否启用数据压缩。默认为false。
配置Spark对接LakeFormation 使用pyspark时,需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置:
StorageDescriptor 参数 参数类型 描述 columns Array of Column objects 分区列以外的所有字段。 location String 路径地址。例如obs://location/uri/。 compressed Boolean 是否启用数据压缩。默认为false。
String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 column_type String 数据类型,字段类型包括array bigint binary boolean char date decimal double float int interval
c。 subnet_ids 否 Array of strings 多个子网ID集合。优先使用subnet_ids,当该字段为空时,使用subnet_id,两个字段不能同时为空。 access_connections 否 Array of AccessConnectionRequestBody
String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 column_type String 数据类型,字段类型包括array bigint binary boolean char date decimal double float int interval
String 规格编码。 stride_num 是 Integer QPS规格步数,QPS为每秒最大请求数,最小为5,步长为1。只有在创建独享型实例(字段shared为false)时生效。 表5 ResourceTag 参数 是否必选 参数类型 描述 key 是 String 键。 value
String 规格编码。 stride_num 是 Integer QPS规格步数,QPS为每秒最大请求数,最小为5,步长为1。只有在创建独享型实例(字段shared为false)时生效。 表5 ChargeInfo 参数 是否必选 参数类型 描述 period_type 否 String
LakeFormation权限介绍 LakeFormation权限 用户可以在管理控制台的LakeFormation实例界面,针对该实例下的所有Catalog、Database、Table等数据资源,授予用户组等主体细粒度的数据访问权限。 经过以上授权操作,形成一条或多条权限策略
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 column_type 是 String 数据类型,字段类型包括array bigint binary boolean char date decimal double float int interval
新增授权 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,针对不同的授权主体进行授权。 在进行授权前,需确认待授权主体已存在,例如IAM用户组已提前创建。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用
数据权限 权限策略 用户可以在管理控制台的LakeFormation实例界面,针对该实例下的所有Catalog、Database、Table等数据资源,授予用户组等主体细粒度的数据访问权限。 经过以上授权操作,形成一条或多条权限策略。 权限策略包含授权主体、授权对象、权限、授权权限,支持取消本条权限策略的操作。
API概览 类型 子类型 说明 Console 实例管理 实例管理接口,包括LakeFormation实例的创建、删除、编辑、查询等接口。 通过这些接口,您可以创建实例、获取已创建实例的信息等。 任务管理 任务管理接口,包括创建任务、列举任务信息等接口。 通过这些可口,您可以创建并管理任务。
查看审计日志 云审计服务是安全解决方案中专业的日志审计服务,记录了LakeFormation的相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog
约束与限制 建议使用推荐的浏览器登录LakeFormation管理界面: Chrome:94.0及更高版本。 Edge:随Windows操作系统更新。 IAM用户组被删除后,LakeFormation云服务数据权限中的相关权限策略,需要用户手动清理删除。 建库时路径不能为所在Ca
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API