检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
和securitytoken获取。 重启Hive服务。 进入Hive客户端执行以下命令进行验证。 show tables; 父主题： 配置开源Hive组件对接LakeFormation
properties中添加配置“log4j.logger.org.apache=WARN”，可关闭LakeFormation客户端httpclient请求日志。 父主题： 配置开源Spark组件对接LakeFormation
designate</name> <value>true</value> </property> </configuration> 重启Hive服务。 父主题： 配置开源Hive组件对接LakeFormation
designate</name> <value>true</value> </property> </configuration> 父主题： 配置开源Spark组件对接LakeFormation
file_sample_rate 否 Integer 文件采样率 (%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设
Formation实例。 创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务中，修改linux环境所在子网的内网域名信息。 父主题： 环境准备
务的集成对接。 产品优势 生态开放 遵循开源事实标准，支撑存量业务平滑演进。 提供兼容Hive/Spark/Flink/Trino社区的元数据接口，支持计算引擎平滑对接。 提供兼容Ranger的权限接口，一次授权，统一生效。 提供迁移工具，支持存量MRS集群相关元数据的平滑迁移。
file_sample_rate 否 Integer 文件采样率 (%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设
se。 file_sample_rate Integer 文件采样率 (%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设置了
> 样例工程名称 > Lifecycle > install”，双击“install”运行maven的install命令。 图1 maven工具clean和install 使用maven命令打包后，执行以下命令将jar包上传到接入LakeFormation客户端所在节点。 java
安装Java和JDK环境 已安装Java环境，Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA 用于开发应用程序的工具，版本要求：2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
选择待迁移数据的数据源类型。 DLF：第三方数据湖构建（Data Lake Formation，DLF） MRS云数据库RDS(for MySQL) 开源HiveMetastore(for MySQL) MRS云数据库RDS(for PostgreSQL) MRS本地数据库 JDBC URL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
