检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
secret.key=SK信息 #访问lakeformation IAM认证信息securitytoken，可选参数，搭配临时AK/SK使用，如果使用永久AK/SK或自定义认证信息获取类可忽略 spark.hadoop.lakeformation.authentication.security
rmation的相关权限，用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授权使用LakeFormation章节创建用户，并加入admin用户组。 操作步骤 使用加入admin用户组的用户登录管理控制台。 在左上角单击“”，选择“大数据 > 湖仓构建 Lake
除IAM服务外，Organizations服务中的服务控制策略（Service Control Policies，以下简称SCP）也可以使用这些授权项元素设置访问控制策略。 SCP不直接进行授权，只划定权限边界。将SCP绑定到组织单元或者成员账号时，并没有直接对组织单元或成员账
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型：提供兼容Hive元数据模型的SDK客户端，使计算引擎对接LakeFormation更轻松和高效。 兼
范围。例如您希望其拥有LakeFormation的使用权限，但是不希望其拥有删除数据库等高危操作的权限，那么您可以使用IAM创建用户，通过授予仅能查询LakeFormation实例，但是不允许删除的权限，控制其对云服务资源的使用范围。 如果华为云账号已经能满足您的要求，不需要创建
LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统，可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击，选择“存储 >
理，因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据：多计算引擎共享元数据，是指客户的多种计算引擎（Hive、Spark等）均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。
ormation实例并与MRS集群对接，实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理
(%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设置了数据存储路径为obs://a/b，则分组层级2代表以d为分界，d为ta
表1 开发流程 阶段 说明 参考文档 环境准备 准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题： 服务介绍
可选参数，是否开启owner指定，开启后创建资源时将使用当前用户作为资源owner，默认为false spark.sql.catalog.catalog_name.lakeformation.owner.designate=true 使用MetastoreClient方式对接时，可选择以下配置方式：
(%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设置了数据存储路径为obs://a/b，则分组层级2代表以d为分界，d为ta
(%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设置了数据存储路径为obs://a/b，则分组层级2代表以d为分界，d为ta
如果用户需要将公有云平台上的LakeFormation实例集成到第三方系统，用于二次开发，可使用API方式访问LakeFormation实例，具体操作请参见API参考。 控制台方式 如果用户已注册公有云，用户可使用管理控制台方式，从服务列表中选择“大数据 > 湖仓构建 LakeFormation”访问LakeFormation。
CUSTOM：定制模式，由外部服务自行创建vpcep连接，适用于跨租户场景等。该模式下access_connections必填。不建议使用，使用接入租户相关接口代替。 枚举值： SYSTEM CUSTOM vpc_id 否 String VPC ID，即虚机私有云ID。可以在 接入管理-创建客户端-前往VPC创建
LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一，支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
number_of_distinct_value 是 Long 列中去重后的长整数个数。 bit_vector 否 String 估算唯一值使用的位图。 表9 DecimalColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Decimal
max_stride_num Integer 最大步数。 usage_measure_id Integer 使用量单位标识。 usage_factor String 使用量因子。 usage_value Integer 使用量，包含免费额度和单位额度，例如api调用次数，单位是次，前100万次调用免费，计
请检查相关资源使用量。 500 00011040 湖仓构建服务依赖资源显著过载。 请检查相关资源使用量。 500 00011041 湖仓构建服务依赖资源中等过载。 请检查相关资源使用量。 500 00011042 湖仓构建服务依赖资源轻微过载。 请检查相关资源使用量。 500 00011043
列中空值个数。 number_of_distinct_value Long 列中去重后的长整数个数。 bit_vector String 估算唯一值使用的位图。 表8 DecimalColumnStatisticsData 参数 参数类型 描述 minimum_value Decimal object
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
