检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
范围。例如您希望其拥有LakeFormation的使用权限,但是不希望其拥有删除数据库等高危操作的权限,那么您可以使用IAM创建用户,通过授予仅能查询LakeFormation实例,但是不允许删除的权限,控制其对云服务资源的使用范围。 如果华为云账号已经能满足您的要求,不需要创建
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储 >
理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。
ormation实例并与MRS集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理
表1 开发流程 阶段 说明 参考文档 环境准备 准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题: 服务介绍
可选参数,是否开启owner指定,开启后创建资源时将使用当前用户作为资源owner,默认为false spark.sql.catalog.catalog_name.lakeformation.owner.designate=true 使用MetastoreClient方式对接时,可选择以下配置方式:
X-Auth-Token:用户Token,可选,当使用Token方式认证时,必须填充该字段。用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 当前API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添
如果用户需要将公有云平台上的LakeFormation实例集成到第三方系统,用于二次开发,可使用API方式访问LakeFormation实例,具体操作请参见API参考。 控制台方式 如果用户已注册公有云,用户可使用管理控制台方式,从服务列表中选择“大数据 > 湖仓构建 LakeFormation”访问LakeFormation。
CUSTOM:定制模式,由外部服务自行创建vpcep连接,适用于跨租户场景等。该模式下access_connections必填。不建议使用,使用接入租户相关接口代替。 枚举值: SYSTEM CUSTOM vpc_id 否 String VPC ID,即虚机私有云ID。可以在 接入管理-创建客户端-前往VPC创建
number_of_distinct_value 是 Long 列中去重后的长整数个数。 bit_vector 否 String 估算唯一值使用的位图。 表9 DecimalColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Decimal
LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
max_stride_num Integer 最大步数。 usage_measure_id Integer 使用量单位标识。 usage_factor String 使用量因子。 usage_value Integer 使用量,包含免费额度和单位额度,例如api调用次数,单位是次,前100万次调用免费,计
同时需要准备运行调测的环境,用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例,或者使用已有LakeFormation实例。 创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务
请检查相关资源使用量。 500 00011040 湖仓构建服务依赖资源显著过载。 请检查相关资源使用量。 500 00011041 湖仓构建服务依赖资源中等过载。 请检查相关资源使用量。 500 00011042 湖仓构建服务依赖资源轻微过载。 请检查相关资源使用量。 500 00011043
多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及程序编写介绍,供需要进行业务应用开发的开发人员使用。 父主题: 服务介绍
列中空值个数。 number_of_distinct_value Long 列中去重后的长整数个数。 bit_vector String 估算唯一值使用的位图。 表8 DecimalColumnStatisticsData 参数 参数类型 描述 minimum_value Decimal object
LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久化数据,单AZ故障不造成LakeFormation实例的数据丢失。 父主题: 安全
迁移除MRS本地数据库以外的数据源类型时,URL中的IP为数据源绑定的弹性公网IP。 此外还需配置以下参数: 用户名:访问数据源所使用的用户。 密码:访问数据源所使用的用户密码。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型
列中空值个数。 number_of_distinct_value Long 列中去重后的长整数个数。 bit_vector String 估算唯一值使用的位图。 表8 DecimalColumnStatisticsData 参数 参数类型 描述 minimum_value Decimal object