检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能。 准备操作 注册华为云帐号 授权用户使用LakeFormation 创建自定义IAM策略 管理LakeFormation实例 创建LakeFormation实例
“确定”,将当前实例设置为默认实例。 如果其他服务对接LakeFormation实例时,没有指定具体的LakeFormation实例ID,系统将自动访问默认实例,变更默认实例后,可能对使用LakeFormation的周边服务产生影响,请谨慎操作。 父主题: 管理LakeFormation实例
的元数据创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据全量或增量迁移
IAM用户:选择待授权的IAM用户。 委托用户:选择待授权的委托用户。 授权类型 资源:表示对LakeFormation实例中的资源进行授权。 路径:表示对OBS文件系统中的路径进行授权。该授权类型用于给外表或函数授权。 资源类型 选择待授权资源类型。“授权类型”选择“资源”时配置该参数。 并需要根据实际需
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 400 表3 响应Body参数 参数 参数类型 描述 error_code
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 200 表3 响应Header参数 参数 参数类型 描述
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code
任务管理 任务管理接口,包括创建任务、列举任务信息等接口。 通过这些可口,您可以创建并管理任务。 服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理
项目编号。获取方法,请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 spec_code 否 String 规格编码。由系统自动生成,例如lakeformation.unit.basic.qps。 offset 否 Integer 偏移量。取值在0-100之间,默认值为0。
如果对接的环境为Spark 3.1.1,则需使用Hive 2.3.7版本。对接的环境为Spark 3.3.1,则需使用Hive 2.3.9版本。 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9,则下载链接为https://github
9,则下载hive-exec-2.3.9.jar、hive-common-2.3.9.jar) 方式二:本地编译Hive相关jar包 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9,则下载链接为:https://github
lakecat.client.obs.LakeFormationObsCredentialProvider # 可选参数,关闭OBS文件系统缓存,长任务需要增加该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true