检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。 VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。 MATERIALIZED_VIEW:物化视图。存储实际的数据,占用物理空间。 数据存储位置 表所映射的OBS并行文件系统的文件目录。 单击“”,选
在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF(User-Defined Functions)。 用户自定义函数分为以下几类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。 用户定义聚集函数UDAF(User-Defined Aggregating
后,单击“确定”。 主体类型(用户组、角色、IAM用户、委托用户)名称中不能包含中划线(-),否则可能造成操作失败。 对单表授权权限策略数量不超过256个。 表1 元数据权限授权 参数 参数说明 主体类型 用户组:选择待授权的用户组,例如IAM用户组,可提前到IAM服务管理控制台创建。
socketTimeout为迁移客户端和数据库连接的socket超时时长。 迁移除MRS本地数据库以外的数据源类型时,URL中的IP为数据源绑定的弹性公网IP。 此外还需配置以下参数: 用户名:访问数据源所使用的用户。 密码:访问数据源所使用的用户密码。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。
数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog,用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 Catalog数据存储到OBS中,当前用户需具有OBS相关操作权限。 已参考
权限要素 描述 授权主体 被授予权限的对象,使其具备针对某数据资源的指定访问权限的用户组、角色、IAM用户、委托用户等身份,如某一用户组、某一角色等。 授权主体(用户组、角色、IAM用户、委托用户)名称中不能包含中划线(-),否则可能造成操作失败。 授权类型 数据湖中管理的资源:
集成权限插件后,如果当前用户(通过自定义用户信息获取类指定)无对应元数据权限,在执行SQL时将抛出异常。 当前用户如果拥有IAM LakeFormation:policy:create权限,且当前用户(可通过自定义用户信息获取类指定)和认证信息(可通过自定义认证信息获取类指定)为统一用户,将跳过SQL鉴权。
数据库信息存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。 所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1”。如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。
管理数据权限 数据权限概述 新增授权 取消授权 查询授权 管理角色
准备工作 注册华为云账号 配置云服务授权 权限管理
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
删除分区列的统计信息 PartitionColumnStatistic deletePartitionColumnStatistics 查看审计日志 用户需要在云审计服务CTS的管理控制台查询LakeFormation服务的事件列表。 详情请参考:查看审计日志(审计事件)。
在“角色”页面,选择“操作”列的“添加IAM用户”或“添加委托用户”,选择绑定的角色名称勾选需要绑定的用户,单击“确定”。 也可以在左侧导航栏选择“数据权限 > 用户”,在待绑定角色的用户所在行“操作”列单击“加入角色”,选择绑定的角色名称,单击“确定”。 为该角色授权后,绑定的用户将同时拥有对应的权限。
对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
DataArts Studio等多种计算引擎及大数据云服务,使用户可以便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。 LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。
条件。 授权主体 被授权的主体名称。 主体类型 被授权的主体类型。“GROUP”为用户组,“ROLE”为角色、“USER”为用户。 主体来源 被授权的主体来源。“IAM”表示来自IAM(用户、用户组),“LOCAL”表示来自LakeFormation,“AGENTTENANT”表示来自IAM委托。
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作
云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAcc