检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理配置中心 约束与限制 配置中心中各类对象的自定义项配额如下: 主题自定义项10条。 表自定义项30条。 属性自定义项10条。 业务指标自定义项50条。 主题流程配置 主题流程配置用于自定义主题设计中的主题层级和自定义属性。
配置中心 集群配置概览 集群访问配置 网络配置 调度配置 集群弹性伸缩配置 监控运维配置 Kubernetes原生配置 异构资源配置
父主题: 安装配置
注册华为云账号 在使用华为云服务之前您需要申请华为云账号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。
配置管理 获取所有用户可见的租户面配置 父主题: LakeCat
华为云解析配置方法 以您的域名在华为云解析为例,例子中的加速域名为download.game-apk1.com。 操作步骤 获取加速域名的CNAME域名。 登录华为云控制台,在控制台首页左上角选择“服务列表> CDN与智能边缘 > 内容分发网络 CDN”,进入CDN控制台。
注册配置中心 Spring Cloud Eureka应用接入Nacos引擎 迁移应用到CSE Nacos
注册配置中心 注册配置中心计费概述 计费模式 计费项 计费样例 变更计费模式 续费 费用账单 欠费说明 停止计费
注册配置中心 创建注册配置中心 管理注册配置中心 使用注册配置中心
ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。
快速配置中心 操作场景 COC快速配置中心面向华为云全局云服务提供场景化的集中配置入口,通过最佳实践的极简配置实现多区域、多账号、定时的自动化操作,为后续运维降低操作门槛。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
配置中心 查询用户支持特性 父主题: API
objects 配置项。 page_info PagedInfo object 分页信息。 表5 LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。
在在规范设计控制台,单击左侧导航树中的“配置中心”,进入相应页面后,选择“审核人管理”页签。
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider spark.hadoop.fs.obs.credentials.provider=com
配置LakeFormation实例 LakeFormation实例创建完成后,可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格:对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例:设置当前实例为默认实例
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
准备工作 注册华为云账号 配置云服务授权 权限管理
OBS管理 查询OBS桶列表 查询OBS桶对象列表 父主题: Console
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
服务授权管理 接入服务授权 查询租户当前的接入服务授权 注册租户协议 查询租户是否注册协议 删除租户协议 注册租户协议 查询租户是否注册协议 删除租户协议 查询当前系统协议 父主题: Console
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置: <!--认证信息获取类,此处配置值仅作为参考--> <property> <name>lakecat
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
目录管理 列举Catalog信息 获取Catalog信息 创建Catalog 修改Catalog信息 删除Catalog对象 父主题: LakeCat
用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。 通过这些接口,您可以获取用于设置元数据的存储路径OBS相关信息。 接入管理 服务接入管理接口,包括获取接入信息,申请接入等接口。 开通服