正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider
com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-53.8.jar pom文件:https://github.com/huaweicloud/obsa-hdfs/blob/maste
com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-53.8.jar pom文件:https://github.com/huaweicloud/obsa-hdfs/blob/maste
AGENTTENANT OTHER description String 数据库描述信息。 location String 数据库路径地址。例如obs://location/uri/。 parameters Map<String,String> 参数信息。 table_location_list
仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对用户操作带来不便,易用性差。 LakeFormation服务优势 一站式可视化湖仓构建:提供数据湖元数据统一定义和
MetadataEvent objects 元数据事件列表。 表5 PagedInfo 参数 参数类型 描述 current_count Integer 本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。
lakeformation-test QPS 每秒最大请求数。如果“实例类型”为“共享型”,则无需配置该参数。 LakeFormation将统计用户当前的元数据对象使用量,按量收费。 10000 企业项目 选择集群所属的企业项目。如果当前无可用企业项目,可以单击“新建企业项目”进行创建。 企业项目是一
Hive创建内表时如果表目录不为空,则禁止创建表。 Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi
group_id String 用户组ID。 表6 PagedInfo 参数 参数类型 描述 current_count Integer 本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。
符。 description 否 String 描述信息。最大长度为4000个字符。 location 否 String 路径地址。例如obs://location/uri/。 database_location_list 否 Array of strings 数据库路径列表。最小条目数为0,最大条目数为1000。
符。 description 否 String 描述信息。最大长度为4000个字符。 location 否 String 路径地址。例如obs://location/uri/。 database_location_list 否 Array of strings 数据库路径列表。最小条目数为0,最大条目数为1000。
供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/start 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
String 数据库描述信息。由用户创建数据库时输入,最大长度为4000个字符。 location 否 String 数据库路径地址。例如obs://location/uri/。 parameters 否 Map<String,String> 标签信息。 table_location_list
{ "type" : "JAR", "uri" : "obs://lakeformation-test/" }, { "type" : "FILE", "uri" : "obs://lakeformation-test/test3/" } ]
String 数据库描述信息。由用户创建数据库时输入,最大长度为4000个字符。 location 否 String 数据库路径地址。例如obs://location/uri/。 parameters 否 Map<String,String> 标签信息。 table_location_list
供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
DK代码示例调试功能。 URI DELETE /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/log 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
user_id String 用户ID。 表6 PagedInfo 参数 参数类型 描述 current_count Integer 本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。