检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“新增访问密钥”,进入“新增访问密钥”页面。 根据提示输入对应信息,单击“确定”,在弹出的提示页面单击“立即下载”。 下载成功后,打开凭证文件,获取AK/SK信息。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。
-DskipTests=true 准备并补充替换Hive内核相关的jar包。 获取以下jar包,并补充或替换到Hive安装环境的lib目录下。 表1 获取Hive环境所需jar包 序号 jar包名称 获取途径 1 spring-web-5.3.24.jar https://mirrors.huaweicloud
-DskipTests=true 补充Spark环境所需jar包。 获取以下jar包,并补充或替换到Spark的jars目录下。 表1 获取Spark环境所需jar包 序号 jar包名称 获取途径 1 spring-web-5.3.24.jar https://mirrors.huaweicloud
准备LakeFormation Java SDK依赖 参考Maven SDK地址,在Maven仓库中查看LakeFormation Java SDK最新版本Jar包,并获取文件内容,例如: <dependency> <groupId>com.huaweicloud
调测程序 配置完样例代码后,参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven
单击“操作”列“查看日志”可以查看任务运行产生的日志。 默认显示最近的50行日志。 可单击日志最下方超链接查看完整日志,具体配置请参考下载对象章节。 日志中常见报错信息及对应原因如下: 日志报错信息 报错原因 field 'storageDescriptor.location'
错误码 调用接口出错后,将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时,HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系运维人员,并提供错误码。 错误响应Body体格式说明
public Identity generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default
public Identity generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置: <!--认证信息获取类,此处配置值仅作为参考-->
FunctionResourceUri 参数 参数类型 描述 type String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri String 函数包地址信息。 状态码: 400 表9 响应Body参数 参数 参数类型 描述
单击“停止”即可停止正在运行的任务。 单击“查看日志”可以查看任务运行产生的日志。 默认显示最近的50行日志。 可单击日志最下方超链接查看完整日志,具体配置请参考下载对象章节。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。 迁移任务运行完成后,可以进入“元数据 > 表”页面,在右上角“Ca
获取任务详情 功能介绍 获取任务详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{instanc
FunctionResourceUri 参数 参数类型 描述 type String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri String 函数包地址信息。 状态码: 400 表7 响应Body参数 参数 参数类型 描述
创建LakeFormation实例 在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
FunctionResourceUri 参数 是否必选 参数类型 描述 type 是 String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri 是 String 函数包地址信息。 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型
修改任务信息 功能介绍 修改任务信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/instances/{instanc
创建任务 功能介绍 创建任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id}/lf-jobs
FunctionResourceUri 参数 是否必选 参数类型 描述 type 是 String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri 是 String 函数包地址信息。 响应参数 状态码: 201 表5 响应Body参数 参数 参数类型
FunctionResourceUri 参数 参数类型 描述 type String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri String 函数包地址信息。 状态码: 400 表8 响应Body参数 参数 参数类型 描述