检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测程序 配置完样例代码后,参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven
图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java
准备LakeFormation Java SDK依赖 参考Maven SDK地址,在Maven仓库中查看LakeFormation Java SDK最新版本Jar包,并获取文件内容,例如: <dependency> <groupId>com.huaweicloud
FunctionResourceUri 参数 参数类型 描述 type String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri String 函数包地址信息。 状态码: 400 表8 响应Body参数 参数 参数类型 描述
-DskipTests=true 补充Spark环境所需jar包。 获取以下jar包,并补充或替换到Spark的jars目录下。 表1 获取Spark环境所需jar包 序号 jar包名称 获取途径 1 spring-web-5.3.24.jar https://mirrors.huaweicloud
FunctionResourceUri 参数 是否必选 参数类型 描述 type 是 String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri 是 String 函数包地址信息。 响应参数 状态码: 201 表5 响应Body参数 参数 参数类型
-DskipTests=true 准备并补充替换Hive内核相关的jar包。 获取以下jar包,并补充或替换到Hive安装环境的lib目录下。 表1 获取Hive环境所需jar包 序号 jar包名称 获取途径 1 spring-web-5.3.24.jar https://mirrors.huaweicloud
FunctionResourceUri 参数 参数类型 描述 type String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri String 函数包地址信息。 状态码: 400 表7 响应Body参数 参数 参数类型 描述
待创建函数的类型,目前支持“JAVA”类型。 函数类名 填写函数类名。 (可选)单击“函数位置”区域中的“添加函数位置”,按照需求手动添加函数包类型和函数位置,单击“确定”。支持添加多条。 “函数位置”为可选参数。 如果函数所属数据库配置了“函数存储位置”参数,则此处存储位置必须选择
提供兼容Hive/Spark/Flink/Trino社区的元数据接口,支持计算引擎平滑对接。 提供兼容Ranger的权限接口,一次授权,统一生效。 提供迁移工具,支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒,实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。
se。 file_sample_rate Integer 文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了
FunctionResourceUri 参数 是否必选 参数类型 描述 type 是 String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri 是 String 函数包地址信息。 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型
FunctionResourceUri 参数 参数类型 描述 type String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri String 函数包地址信息。 状态码: 400 表9 响应Body参数 参数 参数类型 描述
file_sample_rate 否 Integer 文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设
public Identity generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置: <!--认证信息获取类,此处配置值仅作为参考-->
public Identity generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default
file_sample_rate 否 Integer 文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设