-
对接后二次开发 - 湖仓构建 LakeFormation
ormation服务的IAM认证信息。 自定义用户信息获取类:用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类(IdentityGenerator)用于获取访问LakeFormation服务的IAM认证信息(Token、永久AK/SK,临时
-
对接后二次开发 - 湖仓构建 LakeFormation
ormation服务的IAM认证信息。 自定义用户信息获取类:用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类(IdentityGenerator)用于获取访问LakeFormation服务的IAM认证信息(Token、永久AK/SK,临时
-
状态码 - 湖仓构建 LakeFormation
Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因
-
什么是配额 - 湖仓构建 LakeFormation
我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2
-
配置Hive对接LakeFormation - 湖仓构建 LakeFormation
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name>
-
元数据发现 - 湖仓构建 LakeFormation
默认显示最近的50行日志。 可单击日志最下方超链接查看完整日志,具体配置请参考《对象存储服务3.0(OBS) 3.24.3h&s 使用指南(for 华为云Stack 8.3.1)》中《对象存储服务3.0(OBS) 3.24.3h&s 用户指南 (for 华为云Stack 8.3.1)》的“下载对象”章节。
-
查询规格列表 - 湖仓构建 LakeFormation
使用量,包含免费额度和单位额度,例如api调用次数,单位是次,前100万次调用免费,计费标准是5元每100万次,这里返回200万,元数据个数,单位是万个,前100万个免费,计费标准是5元每10万个,这里返回110。 free_usage_value Integer 免费使用额度,例
-
权限及授权项说明 - 湖仓构建 LakeFormation
精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用LakeFormation服务的其它功能。 默认情况下,新建的IAM
-
配置Spark对接LakeFormation - 湖仓构建 LakeFormation
免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site.xml文件中亦可生效,添加时需要去除“spark
-
配置云服务授权 - 湖仓构建 LakeFormation
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。
-
权限管理 - 湖仓构建 LakeFormation
LakeFormation服务权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 LakeFormation授权时,在全局级服务中设置权限,不需要切换区域。
-
构造请求 - 湖仓构建 LakeFormation
表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同。 您可以从地区和终端节点中获取。例如LakeFormation服务在“华北-北京四”区域的Endpoint为“lakeformation.cn-north-4
-
修改DNS信息 - 湖仓构建 LakeFormation
修改DNS信息 登录华为云管理控制台。 在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云
-
身份认证与访问控制 - 湖仓构建 LakeFormation
其他云服务(如MRS)的实例或集群以本租户的委托身份来访问LakeFormation。 LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证,识别出委托方租户(本租户)、委托、被委托方租户(ECS云服务账号)、被委托方IAM用户(ECS云服务内置用户)等身份。认证失败则拒绝请求。
-
注册华为云账号 - 湖仓构建 LakeFormation
注册华为云账号 在使用华为云服务之前您需要申请华为云账号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。
-
计费说明 - 湖仓构建 LakeFormation
如果没有及时的进行续费或充值,将进入宽限期。如宽限期满仍未续费或充值,将进入保留期。在保留期内资源将停止服务。保留期满仍未续费或充值,存储在云服务中的数据将被删除、云服务资源将被释放。详细说明请参考“资源停止服务或逾期释放说明”。宽限期与保留期的具体规则请参考“宽限期保留期”。
-
基于策略授权的服务授权项 - 湖仓构建 LakeFormation
基于策略授权的服务授权项 云服务在IAM预置了常用授权项,称为系统策略。如果IAM系统策略无法满足授权要求,管理员可以根据各服务支持的授权项,创建IAM自定义策略来进行精细的访问控制,IAM自定义策略是对系统策略的扩展和补充。 除IAM服务外,Organizations服务中的服务控制策略(Service
-
基本概念 - 湖仓构建 LakeFormation
储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability
-
服务介绍 - 湖仓构建 LakeFormation
服务介绍 应用开发简介 开发流程
-
使用LakeFormation Java SDK开发程序 - 湖仓构建 LakeFormation
使用LakeFormation Java SDK开发程序 准备开发程序环境 参考样例 调测程序