检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name>
s 根据Hive版本下载对应客户端(Hive版本为2.3.9,则下载hive-exec-2.3.9.jar、hive-common-2.3.9.jar) 方式二:本地编译Hive相关jar包 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
getCurrentUser() { //返回当前用户信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置: <!--可选参数,认证管理器实现类,用于获取当前用户,此处配置值仅作为参考-->
在左侧导航栏选择“元数据 > Catalog”。 如果当前实例已包含名称为“hive”的Catalog,则跳过Catalog的创建操作。 单击“创建Catalog”,配置以下参数后,单击“提交”。 Catalog名称:hive 固定名称,不可自定义。 选择位置:单击“”,选择存储
迁移任务完成后,可以在对应的元数据界面进行查看。例如进入“元数据 > 数据库”页面查看迁移完成的数据库。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。 单击“操作”列“查看日志”可以查看任务运行产生的日志。 默认显示最近的50行日志。 可单击日志最下方超链接查看完整日志,具体配置请参考下载对象章节。
多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ran
地路径/tmp/hive,此处配置值仅作为参考--> <property> <name>hive.exec.scratchdir</name> <value>/tmp/hive</value> </property> </configuration> 除在hive-site.xm
查询当前系统协议 功能介绍 查询当前系统协议。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/agreement-rule
接入管理、任务管理等操作。 API层提供支持兼容Hive社区的元数据接口,以及兼容Ranger社区的权限同步接口,以便于MRS、DWS等服务的集成对接。 产品优势 生态开放 遵循开源事实标准,支撑存量业务平滑演进。 提供兼容Hive/Spark/Flink/Trino社区的元数据接口,支持计算引擎平滑对接。
查询租户当前的接入服务授权 功能介绍 查询租户当前的接入服务授权。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/access-service
/releases 根据Spark、Hive版本下载对应客户端(如Spark3.1.1,对应Hive版本为2.3.7,则下载hive-exec-2.3.7-core.jar、hive-common-2.3.7.jar) 方式二:本地编译Hive相关jar包 如果对接的环境为Spark
后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。 一个完整的授权活动,需要针对计算引擎、对象存储执行两次
Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及
Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DWS)、数据湖探索(DLI
日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。
过滤条件字符串,可以按照属性查询表。 支持的属性查找包括: HIVE_FILTER_FIELD_OWNER HIVE_FILTER_FIELD_LAST_ACCESS HIVE_FILTER_FIELD_PARAMS limit 否 Integer 查询返回条数。默认值为100。最小值为1,最大值为1000。
StorageDescriptor object 数据存储。 table_format String 表格式。支持{HIVE,ICEBERG},默认值为HIVE。 枚举值: HIVE ICEBERG table_type String 表类型,MANAGED_TABLE-内表,EXTERN
MRS对接LakeFormation后,MRS组件功能约束限制: Hive暂不支持临时表功能。 Hive暂不支持跨集群的列加密表功能。 Hive WebHCat暂不支持对接LakeFormation。 Hive创建内表时如果表目录不为空,则禁止创建表。 Hudi表创建前,需要先
FunctionResourceUri 参数 是否必选 参数类型 描述 type 是 String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri 是 String 函数包地址信息。 响应参数 状态码: 201 表5 响应Body参数 参数