检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
则显示为“购买实例”。 按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享:共享型实例之间,通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享:按照每秒查询率(QPS)上限和元数据使用量进行计费。
变得更简单、更方便。 产品介绍 什么是LakeFormation 实例规格 应用场景 02 入门 LakeFormation入门教程,介绍如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例
删除LakeFormation实例时报错实例不可删除 问: 在LakeFormation管理控制台删除实例,报错“实例不可删除。请先删除该xx实例下的所有客户端后重试。”该如何处理? 答: 当前实例包含客户端时,将无法进行删除。请先删除所有接入管理客户端后再执行删除实例操作。详细操作如下: 登录LakeForma
准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果执行MRS对接LakeFormation,则参考MRS准备工作创建相关委托等。
conf中补充如下配置: spark.sql.catalogImplementation=hive 在“spark/conf/”文件夹下新增文件hive-site.xml(如果已有该文件则编辑此文件),并在hive-site.xml中补充以下配置: <configuration> <!--固定配置,开启自定义metastore客户端-->
数据老化错误。 请检查数据老化配置。 500 00000066 SQL执行失败。 请检查SQL文件语法是否正确。 500 00000067 文件的Md5值和远端的不一致。 请检查SQL文件是否做过修改。 400 00000068 default数据库不能删除。 请勿删除默认数据库。
on控制台。 在左侧下拉框中选择待操作的LakeFormation实例。 单击页面右上角“规格变更”,进入“规格变更”页面。如果当前实例为共享型,则不支持该操作。 选择需要变更的QPS规格,单击“下一步”。 确认当前实例的信息,及变更前后的实例规格后,单击“提交”。 设置默认实例
参数类型 描述 principal_type 是 String 主体类型: USER-用户、 GROUP-组、 ROLE-角色、 SHARE-共享、 OTHER-其它。 枚举值: USER GROUP ROLE SHARE OTHER principal_source 是 String
对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
运营相关业务,加速释放业务数据价值。 LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。 LakeFormation架构 LakeFormation服务架构图如图1所示。
RANGER:MRS集群中Ranger权限策略 日志存储位置 运行迁移任务时,产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。
例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Catalog下可以
e:alter 修改表文件。 lakeformation:tableFile:create 创建表文件。 lakeformation:tableFile:drop 删除表文件。 lakeformation:tableFileGroup:alter 修改表文件组元数据。 lakef
参数类型 描述 principal_type 是 String 主体类型: USER-用户、 GROUP-组、 ROLE-角色、 SHARE-共享、 OTHER-其它。 枚举值: USER GROUP ROLE SHARE OTHER principal_source 是 String
参数类型 描述 principal_type 是 String 主体类型: USER-用户、 GROUP-组、 ROLE-角色、 SHARE-共享、 OTHER-其它。 枚举值: USER GROUP ROLE SHARE OTHER principal_source 是 String
状态码 状态码如表1所示。 表1 状态码 状态码 编码 错误码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。
ile_location 否 String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name 否 String 元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
ile_location 否 String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name 否 String 元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
migration_preference_file_location String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name String 元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6