检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。 方式一:下载客户端发行版
管理数据库 LakeFormation的一个Catalog下可以创建多个数据库,通过集中式的元数据管理,可以有效提升数据资产价值。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加数据库的Catalog。 已参考创建元数据存储路径提前创建了用于存储数据库的OBS并行文件系统。
客户端状态:CREATING、RUNNING、DELETING、DELETED、CREATE_FAIL、DELETE_FAIL。 枚举值: CREATING RUNNING DELETING DELETED CREATE_FAIL DELETE_FAIL vpc_id String VPC ID。 subnet_id
PREPARATION_FAIL-实例资源准备失败、FROZEN_RELEASABLE-可恢复冻结、FROZEN_UNRELEASABLE-不可恢复冻结、RECOVERING-恢复中、DELETING-删除中、SCALING-扩容中、SCALE_FAIL-扩容失败。 枚举值: RESOURCE_PREPARATION
什么是项目 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买
smn_notify_types 否 Array of strings 任务发起通知的类型,区分成功任务和失败任务,取值为SUCCESS、FAILED。 枚举值: SUCCESS FAILED 表5 MetaDataMigrationParameter 参数 是否必选 参数类型 描述 datasource_type
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
smn_notify_types 否 Array of strings 任务发起通知的类型,区分成功任务和失败任务,取值为SUCCESS、FAILED。 枚举值: SUCCESS FAILED 表5 MetaDataMigrationParameter 参数 是否必选 参数类型 描述 datasource_type
smn_notify_types Array of strings 任务发起通知的类型,区分成功任务和失败任务,取值为SUCCESS、FAILED。 枚举值: SUCCESS FAILED 表5 MetaDataMigrationParameter 参数 参数类型 描述 datasource_type
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
询、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。 已发布区域:以控制台实际上线区域为准。 LakeFormation产品概述 实例管理 在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。
object 数据存储。 parameters 否 Map<String,String> 表参数信息,每个键是一个键字符串,不少于 1 个字节或超过 255 个字节 每个值是一个 UTF-8 字符串,不超过 4000 个字节 comments 否 String 表描述信息。由用户创建表时输入,最大长度为4000个字符。
数据库路径列表。最小条目数为0,最大条目数为1000。 branch_name 否 String 分支名称。只能包含字母、数字和下划线,且长度为1~32个字符。默认值为main。 owner 否 String catalog所有者。只能包含字母、数字和下划线,且最大长度为128个字符。 owner_type 否
CreateSpec objects 规格列表。 charge_mode 否 String 计费类型:postPaid:按需计费、prePaid:包周期计费。 枚举值: postPaid prePaid change_classify 否 String 变更类型,UPGRADE:升级规格;REN
hadoop.hive.ql.io.avro.AvroContainerInputFormat", "output_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat", "number_of_buckets"
数据库路径列表。最小条目数为0,最大条目数为1000。 branch_name 否 String 分支名称。只能包含字母、数字和下划线,且长度为1~32个字符。默认值为main。 owner 否 String catalog所有者。只能包含字母、数字和下划线,且最大长度为128个字符。 owner_type 否
deleteTableColumnStatistics 批量创建表的列限制条件 TableConstraint addConstraints 删除列限制条件 TableConstraint deleteConstraints 批量添加分区信息 Partition addPartitions 批量修改分区信息
CreateSpec objects 规格信息。 charge_mode String 计费模式,postPaid=按需计费,prePaid=包周期计费。 枚举值: prePaid postPaid 表5 ResourceTag 参数 参数类型 描述 key String 键。 value String
客户端状态:CREATING、RUNNING、DELETING、DELETED、CREATE_FAIL、DELETE_FAIL。 枚举值: CREATING RUNNING DELETING DELETED CREATE_FAIL DELETE_FAIL vpc_id String VPC ID。 subnet_id
PREPARATION_FAIL-实例资源准备失败、FROZEN_RELEASABLE-可恢复冻结、FROZEN_UNRELEASABLE-不可恢复冻结、RECOVERING-恢复中、DELETING-删除中、SCALING-扩容中、SCALE_FAIL-扩容失败。 枚举值: RESOURCE_PREPARATION