-
配置Hive对接LakeFormation - 湖仓构建 LakeFormation
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name
-
环境准备 - 湖仓构建 LakeFormation
准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。
-
准备开发程序环境 - 湖仓构建 LakeFormation
表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境,Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA 用于开发应用程序的工具,版本要求:2019.1或其他兼容版本。
-
环境准备 - 湖仓构建 LakeFormation
准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。
-
SDK概述 - 湖仓构建 LakeFormation
图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。
-
配置Spark对接LakeFormation - 湖仓构建 LakeFormation
配置Spark对接LakeFormation 使用pyspark时,需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。
-
获取所有用户可见的租户面配置 - 湖仓构建 LakeFormation
父主题: 配置管理
-
配置管理 - 湖仓构建 LakeFormation
配置管理 获取所有用户可见的租户面配置 父主题: LakeCat
-
配置云服务授权 - 湖仓构建 LakeFormation
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。
-
配置LakeFormation实例 - 湖仓构建 LakeFormation
配置LakeFormation实例 LakeFormation实例创建完成后,可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格:对当前实例的QPS规格进行变更。仅独享型实例支持该操作。
-
配置开源Hive组件对接LakeFormation - 湖仓构建 LakeFormation
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
-
配置开源Spark组件对接LakeFormation - 湖仓构建 LakeFormation
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
-
对接后二次开发 - 湖仓构建 LakeFormation
并在hive-site.xml补充以下配置: <!
-
对接后二次开发 - 湖仓构建 LakeFormation
根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考 spark.sql.catalog.catalog_name.lakecat.auth.identity.util.class
-
管理函数 - 湖仓构建 LakeFormation
单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线,长度为1~256个字符。 所属Catalog 待创建函数的所属Catalog。
-
MRS对接LakeFormation实例 - 湖仓构建 LakeFormation
MRS对接LakeFormation实例,相关操作请参考配置MRS 3.3.0-LTS版本集群对接LakeFormation章节。
-
错误码 - 湖仓构建 LakeFormation
500 00011116 安装CCE插件失败。 请检查CCE的配置项。 500 00011117 配置CCE集群初始化任务失败。 请检查CCE的配置项。 500 00011118 获取镜像失败。 请联系运维人员。 500 00011119 证书处理失败。 请联系运维人员。
-
管理数据表 - 湖仓构建 LakeFormation
单击“创建表”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 表名称 填写待创建的元数据表名称。 只能包含中文、字母、数字、下划线,长度为1~256个字符。 所属Catalog 待创建表所属的Catalog。
-
数据权限概述 - 湖仓构建 LakeFormation
数据权限概述 数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限,统一对数据湖资源进行管理。
-
调测程序 - 湖仓构建 LakeFormation
调测程序 配置完样例代码后,参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。