检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
右侧代码示例栏会自动拼装参数到代码中供您进行使用。 图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3
注册华为云账号 在使用华为云服务之前您需要申请华为云账号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。
查询规格列表 功能介绍 查询规格列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/specs 表1 路径参数 参数 是否必选 参数类型
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。
配置管理 获取所有用户可见的租户面配置 父主题: LakeCat
(可选)如果当前租户首次创建LakeFormation实例,该实例将自动作为默认实例(default)。客户端可以直接访问默认实例,或通过指定具体的实例ID来访问对应的实例。非默认实例可以通过调用设为默认实例接口将非默认实例设为默认实例。 请求示例: POST https://{endpo
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
应用开发简介 湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务
数据保护技术 传输加密(HTTPS) 为保证数据传输的安全性,LakeFormation的API接口为HTTPS协议。 Console或其他云服务需要采用HTTPS协议访问LakeFormation。 数据备份 LakeFormation支持基于其数据备份能力实现LakeFormation实例的数据备份。
什么是区域和可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一
区域与可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
QPS 每秒最大请求数。如果“实例类型”为“共享型”,则无需配置该参数。 LakeFormation将统计用户当前的元数据对象使用量,按量收费。 10000 企业项目 选择集群所属的企业项目。如果当前无可用企业项目,可以单击“新建企业项目”进行创建。 企业项目是一种云资源管理方式
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
变更实例规格 功能介绍 变更LakeFormation实例规格。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/inst
创建实例 功能介绍 创建一个LakeFormation实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置: <!--认证信息获取类,此处配置值仅作为参考--> <property> <name>lakecat
查询实例详情 功能介绍 使用实例ID查询LakeFormation实例详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}