检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。 可以在右上方“OBS授权路径”、“授权主体”、“主体类型”、“主体来源”中搜索待查看权限的对应信息。 在列表中查看数据授权信息。 相关字段说明如下: 表1
数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database)
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 您可以从地区和终端节点中查询服务的终端节点。 请您根据业务需要选择对应区域的终端节点。 父主题: 使用前必读
AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider
在准备好开发和运行环境后,用户可根据需求开发样例。 例如使用LakeFormation Java SDK开发程序的参考代码如下: (如下代码介绍了初始化SDK、创建LakeFormationClient实例、创建请求,添加参数、查询Catalogs列表的相关代码。) package com.huawei
Location 向LakeFormation服务授权OBS路径 查询已授权给LakeFormation服务的obs路径列表 从LakeFormation服务中批量取消授权OBS路径 父主题: Console
clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 使用maven命令打包后,执行以下命令
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
-4947-b20b-adfc53981a25。 job_id 是 String 任务ID,创建任务时自动生成,是由字母和数字组成的36个字符长度的字符串。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。
查看任务日志 功能介绍 查看任务ID指定的任务日志。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{
供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
ect_id}/instances/{instance_id}/lf-jobs/{job_id}/history 响应示例 状态码: 200 查询任务列表成功 { "total" : 1, "jobs" : [ { "id" : "03141229-84cd-4b
IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的w
加元数据的分区键,单击“确定”。支持添加多条。 分区键:分区键是一个或多个表列的有序集合。表分区键列中的值用来确定每个表行所属的数据分区。 (可选)单击“表属性”区域中的“添加表属性”。按照需求添加元数据的表属性,单击“确定”。支持添加多条。 表属性:使您能够使用自己的元数据键/值对来标记表定义。
表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute 否 String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。
项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。 表11
供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/start 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
Name,总长度不能超过1000字符。 元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。
https://{endpoint}/v1/{project_id}/instances/{instance_id}/lf-jobs 响应示例 状态码: 200 查询任务列表成功 { "total" : 1, "jobs" : [ { "id" : "03141229-84cd-4b1b-9733-dd124320c125"
表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute 否 String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。