检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lifecycle > install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 使用maven命令打包后,执行以下命令将jar包上传到接入LakeFormation客户端所在节点。 java -cp lakeformati
权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF。 分区(Partition) 分区是对数据表按照行维度进行分割,目的是为了在特定SQL操作中减少数据读写的总量以缩减响应时间。 已发布区域:以控制台实际上线区域为准。
配置Spark对接LakeFormation 使用pyspark时,需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置: # 项目ID,必选参数,此处配置值仅作为参考
如果您是第一次使用LakeFormation,请参考LakeFormation准备工作章节,完成用户创建并授权使用LakeFormation等准备工作。 本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作: 已在IAM服务中创建用于授权的I
从LakeFormation服务中批量取消授权OBS路径 功能介绍 从LakeFormation服务中批量取消授权OBS路径,已经有元数据使用的OBS路径无法取消授权 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 创建OBS并行文件系统
OBS管理 查询OBS桶列表 查询OBS桶对象列表 父主题: Console
数据存储位置:单击“”,选择表存储在OBS并行文件系统中的位置,例如选择“obs://lakeformation-test/catalog1/database1/table1”,单击“确定”。 其他参数请根据实际需要进行配置。 参考4创建名称为“table_B”的数据表,存储路径为“lakeforma
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
ormation实例并与MRS集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考 spark.sql.catalog.catalog_name
tion实例,选择“数据权限 > 数据授权”。 可以在右上方“OBS授权路径”、“授权主体”、“主体类型”、“主体来源”中搜索待查看权限的对应信息。 在列表中查看数据授权信息。 相关字段说明如下: 表1 数据授权参数 参数 说明 权限策略类型 包含以下类型: DEFAULT:默认权限策略。
LakeFormation提供数据湖中Catalog的元数据创建、修改、删除、查看等功能。 √ √ 数据库管理 LakeFormation提供数据湖中数据库的元数据创建、修改、删除、查看等功能。 √ √ 表管理 LakeFormation提供数据湖中数据表的元数据创建、修改、删除、查看等功能。
量或增量迁移至当前LakeFormation实例中,对元数据及权限进行统一管理。 接入管理 LakeFormation提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,同时可以在客户端详情中查看接入IP、接入域名等信息,用于其他云服务接入LakeFormation实例。
Database dropDatabase 修改数据库 Database alterDatabase 创建数据表 Table createTable 删除数据表 Table dropTable 修改数据表 Table alterTable 清空表的数据 Table truncateTable 创建函数
SCP限制,只有在SCP允许范围内的权限才能生效。 本章节介绍IAM服务基于策略授权场景中自定义策略和组织服务中SCP使用的元素,这些元素包含了操作(Action)、资源(Resource)和条件(Condition)。 操作(Action) 操作(Action)即为策略中支持的操作项。
小化的安全管控要求。 如果您要允许或是禁止某个接口的操作权限,请使用策略。 账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起
LDAP LOCAL AGENTTENANT OTHER class_name 否 String 函数类名。长度为1~4000个字符。仅remoteUDF类型的函数不要求输入函数类名。 create_time 否 String 创建时间格式为yyyy-mm-ddThh:mm:sss。
com,如果已经将实例设为默认实例可以使用default-{project_id}.lakeformation.lakecat.com。 instance_id:1响应信息中的“instance_id”参数值,如果已经将实例设为默认实例可以直接使用default作为实例ID。 请求头示例 Host:lakeformation