检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他服务的关系 LakeFormation服务与其他服务的关系如下表所示。 表1 LakeFormation服务与其他服务的关系 服务名称 LakeFormation服务与其他服务的关系 统一身份认证(Identity and Access Management,IAM) 通过
LakeFormation实例正常运行状态。在这个状态的实例可以运行您的业务。 资源释放中 执行删除LakeFormation实例操作后,资源正在进行释放。 删除中 触发删除LakeFormation实例后,在LakeFormation实例在彻底被删除之前的状态。 已删除 LakeFormation实例已经删除成功。
管理角色 某个角色拥有资源(比如数据库)的某些权限,则拥有这个角色的用户或者用户组也拥有了对应的资源操作权限。 如果与LakeFormation实例对接的服务需要使用角色授权,则在创建对接LakeFormation权限的委托时必须包含角色的相关权限。 例如,LakeFormati
待操作用户具有OBS相关操作权限、具有已创建存储迁移元数据的Catalog的操作权限。 已创建了用于存储迁移数据的OBS并行文件系统。 表的Owner只能包含字母、数字和下划线(_),且长度为1~49个字符。不能包含中划线(-)等其他字符。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormat
AK。Access Key,是用来标识用户身份的访问密钥。 secret String SK。Secret Key,用来对访问密钥进行加密签名,以验证身份。 security_token String security_token是将所获的AK、SK等信息进行加密后的字符串。 状态码: 400 表5
Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(
删除分区列的统计信息 功能介绍 删除分区列的统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/instanc
可选参数,关闭OBS文件系统缓存,长任务需要增加该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site
参数类型 描述 table_pattern 否 String 表名称通配符。只能包含中文、字母、数字和_-|*.特殊字符,且长度为1到256个字符。 table_type 否 String 查询的表类型。只能包含MANAGED_TABLE、EXTERNAL_TABLE、VIRTUAL_V
00000012 输入分区值信息有误。 请检查输入的表的分区键列表与输入的分区值列表数量和类型是否匹配。 400 00000013 列的类型输入有误。 请检查输入的列类型,是否与官网支持的类型匹配。 500 00000014 签名证书不存在。 请检查管控面服务是否可用。 400 00000015
函数”,在右上角“Catalog”和“数据库”后的下拉框中分别选择待授权函数所属的Catalog、数据库的名称,单击待操作函数“操作”列的“授权”。 参考表1配置相关信息后,单击“确定”。 在“数据权限 > 数据授权”界面即可查看已授权的相关信息。 授权完成后,所选用户组中的用户、或拥有所选角色的用户或者用户组即可对当前数据库进行相关操作。
Integer 分页查询时的偏移量。默认值为0。最小值为0,最大值为1000。 limit 是 Integer 分页一页显示数。默认值为10。最小值为1,最大值为1000。 name 否 String 使用LakeFormation实例名称进行检索。只能包含字母、数字、下划线和中划线,且长度为4到32个字符。
列举库下所有函数名称 功能介绍 查询数据库下的所有函数名称列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/insta
number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo
og下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。 单击“提交”。 创建完成后,即可在“Catalog”页面查看Catalog相关信息。 单击“操作”列的“编辑”可以修改Catalog配置信息。 单击“操作”列的“数据
是否必选 参数类型 描述 name 是 String 实例名称。只能包含字母、数字、下划线和中划线,且长度为4到32个字符。 description 否 String 实例描述。用户输入的描述,最长为255个字符。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型
enterprise_project_id 否 String 企业项目ID,只有对接了企业项目才可以填写。只能包含字母、数字和中划线,且长度为1到64个字符。 description 否 String 实例描述。用户输入的描述,最长为255个字符。 shared 是 Boolean false为独享型;true为共享型。默认为true。
通过这些接口,您可以创建数据表、删除数据表等。 数据表统计 数据表统计接口,包括获取数据表的列统计信息、删除指定列统计信息等接口。 通过这些接口,您可以获取数据表的列统计信息、删除指定列统计信息等。 分区管理 分区管理接口,包括创建、删除分区的等接口。 通过这些接口,您可以创建分区、删除分区等。 分区统计信息
待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。 授权主体转换关系 手动指定对应的权限策略的授权主体的转换关系,前、后缀值会为最终授权主体名称添加对应的前缀、后缀。
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name>