检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
收取资源费用。 前提条件 已参考任务授权开启授权。 已上传待检测的数据至OBS并行文件系统,即已从S3或HDFS将数据上传复制到LakeFormation实例所在Region的OBS并行文件系统的规划路径下。 元数据发现的目标Catalog、目标Database已规划和创建。 操作步骤
已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。 创建函数 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。 将鼠标
数据库信息存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。 所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1”。如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。
MATERIALIZED_VIEW:物化视图。存储实际的数据,占用物理空间。 数据存储位置 表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名” 如果配置该参数,
什么是项目 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买
00010034 当前不支持批量删除系统标签。 请选择其他标签操作。 400 00010035 您没有权限操作系统标签。 请检查您的权限。 400 00010036 系统标签不能为空。 请检查系统标签参数。 400 00010037 系统标签和标签不能同时使用。 请选择系统标签或者标签中的一种。
对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。 previous_marker String 上一页查询地址。当不存在上一页,则值为null,当值为null时,响应Body无该参数。
objects 函数地址信息。 表4 FunctionResourceUri 参数 是否必选 参数类型 描述 type 是 String 函数包类型:JAR,FILE,ARCHIVE,URI。 枚举值: JAR FILE ARCHIVE URI uri 是 String 函数包地址信息。 响应参数
本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。 previous_marker String 上一页查询地址。当不存在上一页,则值为null,当值为null时,响应Body无该参数。
创建时间格式为yyyy-mm-ddThh:mm:sss。 resource_uris 否 Array of FunctionResourceUri objects 函数地址信息。 version_id 否 String 版本ID,可在修改时传入,默认为最新版本 表4 FunctionResourceUri 参数
接入服务授权 查询租户当前的接入服务授权 注册租户协议 查询租户是否注册协议 删除租户协议 注册租户协议 查询租户是否注册协议 删除租户协议 查询当前系统协议 父主题: Console
表1 LakeFormation系统策略 系统角色/策略名称 描述 类别 依赖关系 LakeFormation FullAccess LakeFormation管理员权限,拥有该权限的用户可以操作并使用所有LakeFormation服务功能。 系统策略 IAM AgencyFullAccess
执行函数。 路径 READ 路径下文件的读权限。 WRITE 路径下文件的写权限。 权限管理员通常分为系统权限管理员与业务权限管理员,需要具备的IAM权限与权限管理范围不同 系统权限管理员 需要拥有以下IAM操作权限:lakeformation:policy:describe、l
节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 LakeForma
本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。 previous_marker String 上一页查询地址。当不存在上一页,则值为null,当值为null时,响应Body无该参数。
算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该
客户端名称。只能包含字母、数字、下划线和中划线,且长度为4到32个字符。 access_mode 否 String 接入模式, SYSTEM:系统默认模式,由系统自动创建vpcep连接,也是推荐方式。该模式下vpc_id、subnet_id必填。 CUSTOM:定制模式,由外部服务自行创建v
/v1/{project_id}/specs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 spec_code 否 String 规格编码。由系统自动生成,例如lakeformation