-
资产识别与管理 - 湖仓构建 LakeFormation
LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久化数据,单AZ故障不造成LakeFormation实例的数据丢失。 父主题: 安全
-
获取表的列统计信息 - 湖仓构建 LakeFormation
列中空值个数。 number_of_distinct_value Long 列中去重后的长整数个数。 bit_vector String 估算唯一值使用的位图。 表8 DecimalColumnStatisticsData 参数 参数类型 描述 minimum_value Decimal object
-
查询资源标签集合 - 湖仓构建 LakeFormation
项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 use_predefine_tags 是 Boolean 使用预定义标签,true表示使用。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 租户token。
-
批量设置分区的统计信息 - 湖仓构建 LakeFormation
number_of_distinct_value 是 Long 列中去重后的长整数个数。 bit_vector 否 String 估算唯一值使用的位图。 表9 DecimalColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Decimal
-
湖仓构建 LakeFormation - 湖仓构建 LakeFormation
计算引擎等功能,是一个Serverless服务。 已发布区域:以控制台实际上线区域为准。 LakeFormation产品概述 实例管理 在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeF
-
数据湖建设和持续运营 - 湖仓构建 LakeFormation
一站式可视化湖仓构建:提供数据湖元数据统一定义和授权的可视化界面,支持用户便捷操作,快速构建。 联动授权:支持在元数据授权的同时,自动化完成元数据所映射的文件目录的授权,使用户授权操作更便捷和高效。 细粒度访问控制:实现针对数据湖的库、表、列级元数据的细粒度访问控制,为业务数据的安全性提供有力保障。 建议搭配服务
-
对接后二次开发 - 湖仓构建 LakeFormation
pInformation.getCurrentUser()获取当前用户。 除默认用户信息获取类外,服务可选择自行实现用户信息获取类。 如果使用用户认证信息访问LakeFormation,用户信息和用户身份信息需要保持一致(即用户名、来源需要保持一致)。 代码开发。 实现工程参考如
-
创建服务接入客户端 - 湖仓构建 LakeFormation
CUSTOM:定制模式,由外部服务自行创建vpcep连接,适用于跨租户场景等。该模式下access_connections必填。不建议使用,使用接入租户相关接口代替。 枚举值: SYSTEM CUSTOM vpc_id 否 String VPC ID,即虚机私有云ID。可以在 接入管理-创建客户端-前往VPC创建
-
元数据 - 湖仓构建 LakeFormation
含基本信息、格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF(User-Defined Functions)。 用户自定义函数分为以下几类:
-
配置LakeFormation实例 - 湖仓构建 LakeFormation
如果其他服务对接LakeFormation实例时,没有指定具体的LakeFormation实例ID,系统将自动访问默认实例,变更默认实例后,可能对使用LakeFormation的周边服务产生影响,请谨慎操作。 父主题: 管理LakeFormation实例
-
状态码 - 湖仓构建 LakeFormation
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use
-
管理数据表 - 湖仓构建 LakeFormation
MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将删除。 EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。 VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。 MATERIALIZED_VIEW:物化视图。存储实际的数据,占用物理空间。
-
创建LakeFormation自定义IAM策略 - 湖仓构建 LakeFormation
describe" ] } ] } 示例2:拒绝用户删除数据 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予Adm
-
数据权限 - 湖仓构建 LakeFormation
以包含多个列。 列(COLUMN):LakeFormation管理的列。 函数(FUNC):LakeFormation管理的函数。 权限 使用户具备针对某数据资源的具体访问/操作权限,如“ALTER”、“DROP”、“ALL”等。每种资源允许被授予的权限如下: 数据目录(CATA
-
环境准备 - 湖仓构建 LakeFormation
mmons-codec/commons-codec/1.15/ 10 java-sdk-core-3.2.4.jar (如果仅使用自定义认证信息获取类使用Token认证,则无需补充该jar包。) https://mirrors.huaweicloud.com/repository
-
元数据发现 - 湖仓构建 LakeFormation
单击“查看日志”可以查看任务运行产生的日志。 默认显示最近的50行日志。 可单击日志最下方超链接查看完整日志,具体配置请参考《对象存储服务3.0(OBS) 3.24.3h&s 使用指南(for 华为云Stack 8.3.1)》中《对象存储服务3.0(OBS) 3.24.3h&s 用户指南 (for 华为云Stack 8
-
查询实例列表 - 湖仓构建 LakeFormation
值为1000。 limit 是 Integer 分页一页显示数。默认值为10。最小值为1,最大值为1000。 name 否 String 使用LakeFormation实例名称进行检索。只能包含字母、数字、下划线和中划线,且长度为4到32个字符。 enterprise_project_id