检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据已存在,且名称一致。 如果迁移类型为DLF,其对应关系及迁移策略如下: RAM用户:IAM用户(如果对应的IAM用户不存在,该权限策略不进行迁移) RAM角色:IAM用户组(如果对应的IAM用户组不存在,该权限策略不进行迁移) DLF角色:LakeFormation角色(不存在会自动创建)
LakeFormation提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,同时可以在客户端详情中查看接入IP、接入域名等信息,用于其他云服务接入LakeFormation实例。 访问方式 当前提供了Web化的服务管理平台,即管理控制台和基
什么是配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。
e:alter 修改表文件。 lakeformation:tableFile:create 创建表文件。 lakeformation:tableFile:drop 删除表文件。 lakeformation:tableFileGroup:alter 修改表文件组元数据。 lakef
ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle
元数据权限授权 参数 参数说明 主体类型 用户组:选择待授权的用户组,例如IAM用户组,可提前到IAM服务管理控制台创建。 角色:选择待授权的角色。可提前参考创建角色并绑定用户章节创建角色。 IAM用户:选择待授权的IAM用户。 委托用户:选择待授权的委托用户。 授权类型 资源:表示对Lak
申请接入服务 功能介绍 申请接入服务,此接口已不推荐使用,推荐使用创建服务接入客户端的方式。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{pr
获取服务接入信息 功能介绍 根据LakeFormation实例获取服务实例相关的接入信息,此接口已不推荐使用,推荐使用创建服务接入客户端的方式。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
按元数据类型 按自定义规则 过滤策略存储位置 迁移的自定义元数据过滤策略文件在OBS并行文件系统中的存储位置。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 过滤策略文件名 迁移的自定义元数据过滤策略文件名。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 迁移元数据对象
1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准
数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database)
管理接入客户端 用户可以通过接入管理页面,简单快速地创建并管理接入客户端,可以在客户端详情中获取接入IP等信息,用于多种服务接入LakeFormation实例。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限,统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用户/用户组,也可以通过关联LakeFormation服务的细粒度权限策略进行特性权限
如果数据存储位置下的文件后缀为同一类型,建议选择对应发现类型。 如果数据存储位置下的文件后缀为多种类型,建议选择“自动发现”。 如果数据存储位置下的文件不带后缀,建议选择对应类型。如果选择“自动发现”,则系统默认以Parquet类型文件进行发现,其他类型文件将会发现失败。 日志存储位置
00010012 输入的接入域名不存在。 请检查输入的接入域名。 400 00010013 接入客户端不存在。 请检查输入的接入客户端。 400 00010014 接入客户端名称重复。 请检查输入的接入客户端名称。 400 00010015 接入客户端数量达到上限。 请删除空闲的接入客户端后重新创建或联系运维人员提高数量上限。
directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply > OK”。 图7 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。
创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务中,修改linux环境所在子网的内网域名信息。 父主题: 环境准备
Access Management,IAM) 通过IAM完成对IAM用户或委托的身份认证以及部分访问控制。 云审计服务(Cloud Trace Service,CTS) 云审计服务记录LakeFormation服务相关的操作事件,方便用户日后的查询、审计和回溯。 对象存储服务(Object
一站式可视化湖仓构建:提供数据湖元数据统一定义和授权的可视化界面,支持用户便捷操作,快速构建。 联动授权:支持在元数据授权的同时,自动化完成元数据所映射的文件目录的授权,使用户授权操作更便捷和高效。 细粒度访问控制:实现针对数据湖的库、表、列级元数据的细粒度访问控制,为业务数据的安全性提供有力保障。 建议搭配服务
LakeFormation权限介绍 LakeFormation权限 用户可以在管理控制台的LakeFormation实例界面,针对该实例下的所有Catalog、Database、Table等数据资源,授予用户组等主体细粒度的数据访问权限。 经过以上授权操作,形成一条或多条权限策略,权限策略