检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果执行
仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对用户操作带来不便,易用性差。 LakeFormation服务优势 一站式可视化湖仓构建:提供数据湖元数据统一定义和
LakeFormation基础权限,包含LakeFormation服务协议查看/授权/取消,以及OBS、TMS等周边依赖服务的基础权限集合。 系统策略 IAM ReadOnlyAccess OBS ReadOnlyAccess VPC FullAccess VPCEndpoint FullAccess
AGENTTENANT OTHER description String 数据库描述信息。 location String 数据库路径地址。例如obs://location/uri/。 data_statistic_enable Boolean 数据概况统计开关。默认状态为关,若要开启d
ation实例的数据权限界面进行授权操作。 RangerAdmin WebUI界面的OBS模块,禁止执行添加、删除权限非默认策略的操作,统一在LakeFormation实例的数据权限界面进行OBS路径授权操作。 MRS集群取消对接LakeFormation后,RangerAdmi
lakeformation-test QPS 每秒最大请求数。如果“实例类型”为“共享型”,则无需配置该参数。 LakeFormation将统计用户当前的元数据对象使用量,按量收费。 10000 企业项目 选择集群所属的企业项目。如果当前无可用企业项目,可以单击“新建企业项目”进行创建。 企业项目是一
参数类型 描述 filter 否 String 权限策略过滤表达式,暂不支持。 obs_authorized_location 否 String obs路径权限策略作为查询条件, 查询所有包含该obs路径的元数据权限。 resource_name 否 String 元数据资源全名。长度为1~1000个字符。
“授权类型”选择“路径”时配置该参数。 单击选择授权的OBS文件系统中的路径。可以选择多个路径,但不能超过10个。 操作类型 选择授权的操作类型。不同的授权类型对应的操作类型不同,详见表2。 赋予授权权限 是否授予授权权限。 赋予授权权限后,授权主体便拥有将对象授权其他授权主体的权限。 表2 列脱敏参数说明
符。 description 否 String 描述信息。最大长度为4000个字符。 location 否 String 路径地址。例如obs://location/uri/。 database_location_list 否 Array of strings 数据库路径列表。最小条目数为0,最大条目数为1000。
符。 description 否 String 描述信息。最大长度为4000个字符。 location 否 String 路径地址。例如obs://location/uri/。 database_location_list 否 Array of strings 数据库路径列表。最小条目数为0,最大条目数为1000。
group_id String 用户组ID。 表6 PagedInfo 参数 参数类型 描述 current_count Integer 本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。
供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/start 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
{ "type" : "JAR", "uri" : "obs://lakeformation-test/" }, { "type" : "FILE", "uri" : "obs://lakeformation-test/test3/" } ]
供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
ect_id}/instances/{instance_id}/lf-jobs/{job_id}/history 响应示例 状态码: 200 查询任务列表成功 { "total" : 1, "jobs" : [ { "id" : "03141229-84cd-4b
DK代码示例调试功能。 URI DELETE /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/log 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
mation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Cat
String 数据库描述信息。由用户创建数据库时输入,最大长度为4000个字符。 location 否 String 数据库路径地址。例如obs://location/uri/。 parameters 否 Map<String,String> 标签信息。 table_location_list
String 数据库描述信息。由用户创建数据库时输入,最大长度为4000个字符。 location 否 String 数据库路径地址。例如obs://location/uri/。 parameters 否 Map<String,String> 标签信息。 table_location_list