检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
d}/default instance_id:1响应信息中的“instance_id”参数值。 调用创建服务接入客户端接口,选择客户端对应的VPC相关信息创建接入客户端,LakeFormation服务将自动为其创建终端节点和DNS内网域名,用于打通网络连接。 请求示例: POST
Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径
准备LakeFormation实例 在LakeFormation控制台创建实例,或者使用已有LakeFormation实例。 创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务中,修改linux环境所在子网的内网域名信息。 父主题: 环境准备
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。
AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider
元数据及权限进行统一管理。 接入管理 LakeFormation提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,同时可以在客户端详情中查看接入IP、接入域名等信息,用于其他云服务接入LakeFormation实例。 访问方式 当前提供了
支持将外部服务的元数据权限全量或增量迁移至当前LakeFormation实例中,对元数据的权限进行统一管理。 √ √ 接入客户端管理 提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,用于其他云服务接入LakeFormation实例。 √ √
可单击日志最下方超链接查看完整日志,具体配置请参考《对象存储服务3.0(OBS) 3.24.3h&s 使用指南(for 华为云Stack 8.5.0)》中《对象存储服务3.0(OBS) 3.24.3h&s 用户指南 (for 华为云Stack 8.5.0)》的“下载对象”章节。 日志中常见报错信息及对应原因如下: 日志报错信息
tion进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用LakeFormation服务的其它功能。 默认情况下,
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
计费说明 计费项 华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器,选择您需要的实例规格和使用时长等,来快速计算出购买LakeFormation实例的参考价格。
创建LakeFormation自定义IAM策略 如果系统预置的LakeFormation权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。 将鼠标移动到右上角用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面中选择“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。
BucketDetail objects OBS桶列表。 total Integer OBS桶总数。 表6 BucketDetail 参数 参数类型 描述 id String OBS桶ID。 name String OBS桶名称。 creation_date String OBS桶创建时间。 location
CLICKHOUSE 选择位置 Catalog数据存储在OBS并行文件系统中的位置。可选参数。 单击“”,选择位置后,单击“确定”。 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catal
r将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需
可单击日志最下方超链接查看完整日志,具体配置请参考《对象存储服务3.0(OBS) 3.24.3h&s 使用指南(for 华为云Stack 8.5.0)》中《对象存储服务3.0(OBS) 3.24.3h&s 用户指南 (for 华为云Stack 8.5.0)》的“下载对象”章节。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。
e 查询用户以及关联角色关系。 写 lakeformation:access:create 创建接入客户端。 lakeformation:access:delete 删除接入客户端。 lakeformation:agency:create 创建委托。 lakeformation:agency:drop
元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 L
LakeFormation是否会自动创建OBS桶 问: LakeFormation是否会自动创建OBS桶? 答: LakeFormation不会自动创建OBS桶。 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数