-
创建元数据存储路径 - 湖仓构建 LakeFormation
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 创建OBS并行文件系统
-
元数据迁移 - 湖仓构建 LakeFormation
用户可以参考该章节将外部的元数据迁移至LakeFormation并将数据存储在OBS中进行统一管理。 前提条件 当前实例已创建存储迁移元数据的Catalog。 且待操作用户具有OBS相关操作权限、具有已创建存储迁移元数据的Catalog的操作权限。 已创建了用于存储迁移数据的OBS并行文件系统。 表的Owne
-
什么是区域和可用区 - 湖仓构建 LakeFormation
建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现最大程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内,电力和网络互相隔离的物理区域,一个可用区不受其他可用区故障的影响。一个区域内可以
-
区域与可用区 - 湖仓构建 LakeFormation
建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内,电力和网络互相隔离的物理区域,一个可用区不受其他可用区故障的影响。一个区域内可以
-
什么是LakeFormation - 湖仓构建 LakeFormation
数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DWS)、数据湖探索(DLI)、AI开发平台ModelArts、数据治理中心 DataArts Studio等多种计算引擎及大数据云服务,使用户可以便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。
-
取消授权 - 湖仓构建 LakeFormation
权限 > 数据授权”。 搜索想要取消的授权策略,单击要取消的授权信息后的“取消授权”按钮。 单击“确认”,完成取消授权操作。 取消授权后则无法恢复,请谨慎操作。 父主题: 管理数据权限
-
约束与限制 - 湖仓构建 LakeFormation
相关权限策略,需要用户手动清理删除。 建库时路径不能为所在Catalog父路径或相同路径,不能为同一Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置必须在所属Catalog的存储位置之下。 用户自定义创建的Catalog对象及
-
管理Catalog - 湖仓构建 LakeFormation
长度为0~4000字节,1个中文字符对应3个字节。 (可选)单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按照需求手动选择数据库存储位置。单击“确定”。 如需添加多条,可以继续单击“”进行配置。如需删除请单击“”。 “数据库存储位置”为可选参数。如果配置了该参数,则该Catalog
-
获取所有用户可见的租户面配置 - 湖仓构建 LakeFormation
获取所有用户可见的租户面配置 功能介绍 获取所有用户可见的租户面配置,此接口仅能从租户面调用,无法从管控面调用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET
-
状态码 - 湖仓构建 LakeFormation
由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。 414 Request-URI Too Large 请求的URI过长(URI通常为网址),服务器无法处理。 415 Unsupported
-
获取临时密钥和securityToken - 湖仓构建 LakeFormation
获取临时密钥和securityToken 功能介绍 获取临时密钥和securityToken,失效时间大于等于1小时,请在1小时内更新此,接口仅能从租户面调用,无法从管控面调用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
-
配置云服务授权 - 湖仓构建 LakeFormation
ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecyc
-
批量鉴权 - 湖仓构建 LakeFormation
批量鉴权 功能介绍 批量鉴权,此接口仅能从租户面调用,无法从管控面调用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/
-
创建LakeFormation实例 - 湖仓构建 LakeFormation
创建实例时需要注意配额提醒。当资源配额不足时,建议按照界面提示申请足够的资源,再创建实例。 等待实例状态变为“”表示实例已创建成功。 实例创建成功后,可以查看实例的基本信息及数据概况。 实例创建失败 如果实例创建失败,失败任务会自动转入“创建失败的实例”页面。 选择“大数据 > 湖仓构建 L
-
资产识别与管理 - 湖仓构建 LakeFormation
读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久
-
管理函数 - 湖仓构建 LakeFormation
如需添加多条,可以继续单击对应区域中的“”进行配置。如需删除请单击“”。 “函数位置”为可选参数。 如果函数所属数据库配置了“函数存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的路径及其子路径、或“函数存储位置”的路径及其子路径。 单击“提交”。 创建完成后,即可在“函数”页面查看函数名称/ID、所
-
管理数据表 - 湖仓构建 LakeFormation
如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。 是否压缩 数据表是否压缩。 压缩表能够使表中的数据以压缩格式存储,表压缩能提升性能,减少存储空间。 数据源格式 待创建表的数据源格式,目前支持以下类型: Avro
-
基本概念 - 湖仓构建 LakeFormation
过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用
-
管理数据库 - 湖仓构建 LakeFormation
(可选)单击“数据表存储位置”区域中的“添加数据表存储位置”。单击“”按照需求手动选择数据表存储位置。单击“确定”。 如需添加多条,可以继续单击“”进行配置。如需删除请单击“”。 “数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。
-
根据表名列举表信息 - 湖仓构建 LakeFormation
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo object 序列化/反序列化信息。 parameters Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。 value最大长度为4000