检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
类型 共享型实例 独享型实例 部署模式 物理资源共享,实例间逻辑隔离。 物理资源独占,实例的性能不受其他实例的影响,可根据业务需要选择不同规格的实例。 每秒请求数(QPS) 保证2000每秒请求数。 按照用户创建实例时的选择不同。 功能对比 表2 功能对比 类型 描述 共享型实例
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAc
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
什么是配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。
配置管理 获取所有用户可见的租户面配置 父主题: LakeCat
objects 配置项。 page_info PagedInfo object 分页信息。 表5 LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。
配置Spark对接LakeFormation 使用pyspark时,需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置:
配置LakeFormation实例 LakeFormation实例创建完成后,可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格:对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例:设置当前实例为默认实例
<value>false</value> </property> <!--需要对接的LakeFormation Catalog名称,可选配置,如果不配置则对接到hive catalog中,此处配置值仅作为参考--> <property> <name>lakecat.catalogname.default</name>
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
SSL证书采用SSL协议进行通信,SSL证书部署到服务器后,服务器端的访问将启用HTTPS协议。您的网站将会通过HTTPS加密协议来传输数据,可帮助服务器端和客户端之间建立加密链接,从而保证数据传输的安全。 SSL证书存在有效期限制,证书过期后不被信任,已安装证书的网站业务会受到影响(提示访问不安全或无法访问)。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
并在Git中执行以下命令将分支切换为“master_dev”: git checkout master_dev 配置maven源,详细操作请参考获取SDK并配置maven。 获取以下jar包以及对应的pom文件,并将文件放入maven本地仓库。 例如本地仓库地址为“D:\maven\repository”
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考
LakeFormation提供了默认的认证信息获取类,通过从配置文件中获取AKSK生成认证信息。 除LakeFormation提供的默认认证信息获取类外,可选择自行实现默认认证信息获取类。 代码开发。 实现工程参考如下,在Maven工程pom文件中添加lakeformation-lakecat-client依赖:
首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享:共享型实例之间,通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。