检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn
LakeFormation对于元数据权限和数据权限的管理,使用“粗粒度”的Identity and Access Management(简称IAM)权限和“细粒度”的LakeFormation权限的组合,实现精细访问控制。 “粗粒度”的IAM权限:对于各项操作有更广泛的权限。例如,推荐用户使用“la
华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器,选择您需要的实例规格和使用时长等,来快速计算出购买LakeFormation实例的参考价格。 表1 计费项信息 实例规格 计费项 计费说明
运行中 LakeFormation实例正常运行状态。在这个状态的实例可以运行您的业务。 资源释放中 执行删除LakeFormation实例操作后,资源正在进行释放。 删除中 触发删除LakeFormation实例后,在LakeFormation实例在彻底被删除之前的状态。 已删除
简介 在进行湖仓构建应用开发时,要准备的环境如表1所示。 同时需要准备运行调测的环境,用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例,或者使用已有LakeFormation实例。 创建客户端
LakeFormation提供数据湖中数据库的元数据创建、修改、删除、查看等功能。 √ √ 表管理 LakeFormation提供数据湖中数据表的元数据创建、修改、删除、查看等功能。 √ √ 函数管理 LakeFormation提供数据湖中函数的元数据创建、修改、删除、查看等功能。
授权数据库所属的Catalog名称,选择待授权数据库“操作”列的“更多 > 授权”。 数据表:在左侧导航栏选择“元数据 > 表”,在右上角“Catalog”和“数据库”后的下拉框中分别选择待授权数据表所属的Catalog、数据库的名称,单击待授权数据表“操作”列的“授权”。 函数:在左侧导航栏选择“元数据
单击“返回控制台”,在控制台即可查看新创建的LakeFormation实例信息。 创建实例时需要注意配额提醒。当资源配额不足时,建议按照界面提示申请足够的资源,再创建实例。 等待实例状态变为“运行中”表示实例已创建成功。 实例创建成功后,可以查看实例的基本信息及数据概况。 实例创建失败
n。 Hive创建内表时如果表目录不为空,则禁止创建表。 Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读
通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内,电力和网络互相隔离的物理区域,一
通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内,电力和网络互相隔离的物理区域,一
该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site.xml文件中亦可生效,添加时需要去除“spark
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将云服务资源委托给更专业、高效的其他账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节。 本章节为您介绍对用户授权的方法,操作流程如图1所示。
查看审计日志 云审计服务是安全解决方案中专业的日志审计服务,记录了LakeFormation的相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog
SSL证书采用SSL协议进行通信,SSL证书部署到服务器后,服务器端的访问将启用HTTPS协议。您的网站将会通过HTTPS加密协议来传输数据,可帮助服务器端和客户端之间建立加密链接,从而保证数据传输的安全。 SSL证书存在有效期限制,证书过期后不被信任,已安装证书的网站业务会受到影响(提示访问不安全或无法访问)。
请求。 资产的访问控制 元数据信息的访问控制 LakeFormation实例针对Console或其他云服务的元数据访问请求,在经过身份认证后,首先进行IAM鉴权,检查用户是否具备请求中的元数据操作权限,接着再进行细粒度的鉴权,检查用户是否具备针对请求中的具体元数据的请求操作权限。鉴权失败则拒绝请求。
样例。 例如使用LakeFormation Java SDK开发程序的参考代码如下: (如下代码介绍了初始化SDK、创建LakeFormationClient实例、创建请求,添加参数、查询Catalogs列表的相关代码。) package com.huawei.cloud.dalf
委托查询,查询委托是否创建及委托中的action与配置的是否完全一致。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/agency 表1 Query参数 参数
本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果
任务ID,创建任务时自动生成,是由字母和数字组成的36个字符长度的字符串。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 响应参数 状态码: 200 表3 响应Header参数 参数 参数类型 描述