检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。 function_type 是 String 函数类型,JAVA,remoteUDF。 枚举值: JAVA remoteUDF owner 是 String 函数所有者。只能包含字母、数字和下划线,且长度为1~256个字符。
准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题: 服务介绍
湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务
中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS对接LakeFor
函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。 function_type String 函数类型,JAVA,remoteUDF。 枚举值: JAVA remoteUDF function_id String 函数ID。 owner String 函数所有者。只能包
huawei.cloud.dalf.lakecat.client.identity.IdentityGenerator; import java.util.Collections; /** * 身份信息生成器样例 * */ public class LakeFormationE
个字符。 所属Catalog 待创建函数的所属Catalog。 所属数据库 待创建函数的所属数据库。 类型 待创建函数的类型,目前支持“JAVA”类型。 函数类名 填写函数类名。 (可选)单击“函数位置”区域中的“添加函数位置”,按照需求手动添加函数包类型和函数位置,单击“确定”。支持添加多条。
huawei.cloud.dalf.lakecat.client.identity.IdentityGenerator; import java.util.Collections; /** * 身份信息生成器样例 * */ public class LakeFormationE
-84cd-4b1b-9733-dd124320c125。 name String 任务名称,只能包含中文、字母、数字和下划线,且长度为4到255个字符。 description String 用户创建任务时写的描述信息。 type String METADATA_MIGRATION:元数据迁移、
format for Hadoop CSV stands for Comma Seperated Value JSON stands for Java Script Object Notation ORC stands for Optimized Row Columnar AVRO is
表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 任务名称,只能包含中文、字母、数字和下划线,且长度为4到255个字符。 description 否 String 描述,用户可以对创建的任务进行描述,长度在0-4000个字符之间。 type 是 String
请查看是否配置了租户对应的默认实例ID。 400 00000053 实例不属于租户。 请查看实例ID是否正确。 400 00000054 分区表不能创建表列统计信息。 请在分区上创建或更新统计信息。 400 00000055 列统计信息的数据类型与列的数据类型不匹配。 请检查列统计信息的数据类型与表或分区的列数据类型保持一致。
用Region。 可用区(AZ,Availability Zone) 一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区
表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 实例名称。只能包含字母、数字、下划线和中划线,且长度为4到32个字符。 charge_mode 是 String 支付类型:postPaid为按需期、prePaid为包周期。 枚举值: postPaid
CommonAccess授权给全局,将LakeFormation FullAccess授权给指定企业项目即可。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。多数细粒度策略以API接
PI Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/specs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 表2 Query参数
LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证,识别出委托方租户(本租户)、委托、被委托方租户(ECS云服务账号)、被委托方IAM用户(ECS云服务内置用户)等身份。认证失败则拒绝请求。 资产的访问控制 元数据信息的访问控制 LakeFormation实例针对
"lakeformation", "charge_mode": "postPaid", "shared": "false", "specs": [ { "spec_code": "lakeformation.unit.basic.qps"
参数类型 描述 X-Auth-Token 否 String 租户token。 表3 请求Body参数 参数 是否必选 参数类型 描述 specs 否 Array of CreateSpec objects 规格列表。 charge_mode 否 String 计费类型:postPa
Control Policies,以下简称SCP)也可以使用这些授权项元素设置访问控制策略。 SCP不直接进行授权,只划定权限边界。将SCP绑定到组织单元或者成员账号时,并没有直接对组织单元或成员账号授予操作权限,而是规定了成员账号或组织单元包含的成员账号的授权范围。IAM策略授予权限