检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rmation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授权使用LakeFormation章节创建用户,并加入admin用户组。 操作步骤 使用加入admin用户组的用户登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 Lake
CE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享:按照每秒查询率(QPS)上限和元数据使用量进行计费。 独享 计费模式 实例的计费模式。 按需收费:按照LakeFormation实例实际使用时长计费。 按需收费 项目 选择实例所属的项目。 xxx 名称
LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储 >
格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF。 分区(Partition) 分区是对数据表按照行维度进行分割,目的是为了在特定SQL操作中减少数据读写的总量以缩减响应时间。
范围。例如您希望其拥有LakeFormation的使用权限,但是不希望其拥有删除数据库等高危操作的权限,那么您可以使用IAM创建用户,通过授予仅能查询LakeFormation实例,但是不允许删除的权限,控制其对云服务资源的使用范围。 如果华为云账号已经能满足您的要求,不需要创建
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。
查询授权 本章节主要为您说明如何进行查询已有的数据授权信息。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 >
表1 开发流程 阶段 说明 参考文档 环境准备 准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题: 服务介绍
可选参数,是否开启owner指定,开启后创建资源时将使用当前用户作为资源owner,默认为false spark.sql.catalog.catalog_name.lakeformation.owner.designate=true 使用MetastoreClient方式对接时,可选择以下配置方式:
查看审计日志 云审计服务是安全解决方案中专业的日志审计服务,记录了LakeFormation的相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog
如果用户需要将公有云平台上的LakeFormation实例集成到第三方系统,用于二次开发,可使用API方式访问LakeFormation实例,具体操作请参见API参考。 控制台方式 如果用户已注册公有云,用户可使用管理控制台方式,从服务列表中选择“大数据 > 湖仓构建 LakeFormation”访问LakeFormation。
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。
CUSTOM:定制模式,由外部服务自行创建vpcep连接,适用于跨租户场景等。该模式下access_connections必填。不建议使用,使用接入租户相关接口代替。 枚举值: SYSTEM CUSTOM vpc_id 否 String VPC ID,即虚机私有云ID。可以在 接入管理-创建客户端-前往VPC创建
LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 401 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及程序编写介绍,供需要进行业务应用开发的开发人员使用。 父主题: 服务介绍
同时需要准备运行调测的环境,用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例,或者使用已有LakeFormation实例。 创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务
LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久化数据,单AZ故障不造成LakeFormation实例的数据丢失。 父主题: 安全