检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考
子网不存在。 请检查子网相关配置。 500 00011035 子网网段配置与VPC冲突。 请检查子网网段配置。 500 00011036 DCS不存在或不可用。 请检查DCS相关配置。 500 00011037 数据库不存在或不可用。 请检查数据库相关配置。 500 00011038
建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久化数据,单AZ故障不造成L
按元数据类型 按自定义规则 过滤策略存储位置 迁移的自定义元数据过滤策略文件在OBS并行文件系统中的存储位置。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 过滤策略文件名 迁移的自定义元数据过滤策略文件名。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 迁移元数据对象 勾
LakeFormation仅提供动态脱敏策略管理与获取功能。LakeFormation不处理动态脱敏策略冲突。 列脱敏参数 列脱敏类型对应的选项。可以参考表2进行配置。资源类型为“列”时显示该参数。 路径 “授权类型”选择“路径”时配置该参数。 单击选择授权的OBS文件系统中的
确性会降低。 重新发现策略 再次执行元数据发现时的发现策略。 全量发现:再次执行发现操作时,发现数据存储位置下的所有文件。 增量发现:再次执行发现操作时,发现上次任务(运行成功的)开始运行后,数据存储位置下新增的文件。 执行策略 选择当前迁移任务的执行策略。 手动执行:手动触发执行迁移任务。
约束与限制 IAM用户组被删除后,LakeFormation云服务数据权限中的相关权限策略,需要用户手动清理删除。 建库时路径不能为所在Catalog父路径或相同路径,不能为同一Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置
MRS对接LakeFormation后,权限策略约束限制: 通过LakeFormation授权仅支持将LakeFormation角色作为授权主体,不支持IAM用户或IAM用户组作为授权主体。 PolicySync进程不会修改集群内RangerAdmin Hive模块的默认策略,默认策略仍然生效。 Poli
FullAccess授权给指定企业项目即可。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。多数细粒度策略以API接口为粒度进行权限拆分,LakeFormation的自定义IAM策略操作可参考
角色管理接口,包括创建 、获取、修改、删除角色等接口。 凭证管理 凭证管理接口,包括获取临时密钥和securityToken等接口。 配置管理 配置管理接口,包括获取所有用户可见的租户面配置等接口。 User 用户管理接口,包括获取用户列表、将多个角色授予用户、将一个或者多个角色从用户移除、更新用户中的角色、查询用户的角色列表等接口。
管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。 IAM系统策略 表1介绍了LakeFormation的默认系统策略。 表1 LakeFormation系统策略 系统角色/策略名称 描述 类别 依赖关系 LakeFormation FullAccess La
个IAM用户被授予的策略中必须包含允许“ecs:servers:list”的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下:
实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。 创建LakeFormation实例 配置LakeFormation实例 元数据管理 数据目录(Catalog)
授权管理 批量授权 获取同步权限策略 取消批量授权 查询策略 批量鉴权 分页获取同步权限策略 父主题: LakeCat
LakeFormation提供数据湖中函数的元数据创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持
框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线,长度为1~256个字符。
参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对接LakeFormation实例,相关操作请参考配置MRS 3.3.0-LTS
信息。 在列表中查看数据授权信息。 相关字段说明如下: 表1 数据授权参数 参数 说明 权限策略类型 包含以下类型: DEFAULT:默认权限策略。 ROW_FILTER:行过滤权限策略,包含行过滤条件。 授权主体 被授权的主体名称。 主体类型 被授权的主体类型。“GROUP”为
权限和授权项 权限及授权项说明 基于策略授权的服务授权项
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作