检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
less服务。 已发布区域:以控制台实际上线区域为准。 LakeFormation产品概述 实例管理 在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配
LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。
com,如果已经将实例设为默认实例可以使用default-{project_id}.lakeformation.lakecat.com。 instance_id:1响应信息中的“instance_id”参数值,如果已经将实例设为默认实例可以直接使用default作为实例ID。 请求头示例
如何获取AK/SK AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。
<value>SK信息</value> </property> <!--访问lakeformation IAM认证信息securityToken,可选参数,如果使用永久AKSK或自定义认证信息获取类可忽略--> <property> <name>lakeformation.authentication
ation-lakecat-client-1.0.0.jar”。 准备并补充替换Hive内核相关的jar包。 如仅使用SparkCatalogPlugin方式对接,不使用MetastoreClient方式对接,本步骤可省略。 方式一:下载预构建Hive相关jar包 获取地址为:https://gitee
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。
查询实例详情 功能介绍 使用实例ID查询LakeFormation实例详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}
从LakeFormation服务中批量取消授权OBS路径 功能介绍 从LakeFormation服务中批量取消授权OBS路径,已经有元数据使用的OBS路径无法取消授权 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 创建OBS并行文件系统,详情请参考创建并行文件系
rmation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授权使用LakeFormation章节创建用户,并加入admin用户组。 操作步骤 使用加入admin用户组的用户登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 Lake
CE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享:按照每秒查询率(QPS)上限和元数据使用量进行计费。 独享 计费模式 实例的计费模式。 按需收费:按照LakeFormation实例实际使用时长计费。 按需收费 项目 选择实例所属的项目。 xxx 名称
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
修改DNS信息 登录华为云管理控制台。 在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云
理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。
表1 开发流程 阶段 说明 参考文档 环境准备 准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题: 服务介绍
upInformation.getCurrentUser()获取当前用户。 除默认用户信息获取类外,服务可选择自行实现用户信息获取类。 如使用用户认证信息访问LakeFormation,用户信息和用户身份信息需要保持一致(即用户名、来源需要保持一致)。 代码开发。 实现工程参考如
选择位置:单击“”,选择存储位置,例如选择“obs://lakeformation-test/catalog1”,单击“确定”。 Catalog类型:DEFAULT 其他参数保持默认。 创建完成后,即可在“Catalog”页面查看相关信息。 创建数据库 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建
LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
number_of_distinct_value 是 Long 列中去重后的长整数个数。 bit_vector 否 String 估算唯一值使用的位图。 表9 DecimalColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Decimal