检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍了LakeFormation服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。
500 00011110 创建OBS桶失败。 请检查是否支持OBS服务、OBS服务权限是否正确或联系运维人员。 500 00011111 OBS写入数据失败。 请检查是否支持OBS服务、OBS服务权限是否正确或联系运维人员。 500 00011112 OBS更新任务信息失败。 请联系运维人员。
ase、Table等数据资源,授予用户组等主体细粒度的数据访问权限。 经过以上授权操作,形成一条或多条权限策略,权限策略包含授权主体、授权对象、权限、授权权限等。 表1介绍了不同元数据类型的LakeFormation权限: 表1 不同授权类型的操作权限 授权类型 操作类型 权限说明
FullAccess LakeFormation管理员权限,拥有该权限的用户可以操作并使用所有LakeFormation服务功能。 系统策略 IAM AgencyFullAccess OBS OperateAccess VPC FullAccess VPCEndpoint FullAccess LakeFormation
本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果执行
Column objects 分区列以外的所有字段。 location String 路径地址。例如obs://location/uri/。 compressed Boolean 是否启用数据压缩。默认为false。 input_format String 输入格式。 output_format
仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对用户操作带来不便,易用性差。 LakeFormation服务优势 一站式可视化湖仓构建:提供数据湖元数据统一定义和
lakeformation-test QPS 每秒最大请求数。如果“实例类型”为“共享型”,则无需配置该参数。 LakeFormation将统计用户当前的元数据对象使用量,按量收费。 10000 企业项目 选择集群所属的企业项目。如果当前无可用企业项目,可以单击“新建企业项目”进行创建。 企业项目是一
更新管理 SSL证书采用SSL协议进行通信,SSL证书部署到服务器后,服务器端的访问将启用HTTPS协议。您的网站将会通过HTTPS加密协议来传输数据,可帮助服务器端和客户端之间建立加密链接,从而保证数据传输的安全。 SSL证书存在有效期限制,证书过期后不被信任,已安装证书的网站
保证2000每秒请求数。 按照用户创建实例时的选择不同。 功能对比 表2 功能对比 类型 描述 共享型实例 独享型实例 Catalog管理 LakeFormation提供数据湖中Catalog的元数据创建、修改、删除、查看等功能。 √ √ 数据库管理 LakeFormation提供数
最新动态 本文介绍了湖仓构建LakeFormation服务各特性版本的功能发布和对应的文档动态,欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
mation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Cat
LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。
如果需要删除函数,可以选择“更多 > 删除”,确认操作影响后,单击“确定”。 删除元数据时如果同步删除文件,数据将移入对应OBS桶的回收站(“lake-formation-trash-dir/table_id”OBS路径)目录下。 父主题: 管理元数据
过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用
com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-53.8.jar pom文件:https://github.com/huaweicloud/obsa-hdfs/blob/maste
com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-53.8.jar pom文件:https://github.com/huaweicloud/obsa-hdfs/blob/maste
删除数据库 功能介绍 删除指定数据库,catalog的默认数据库不允许删除。 cascade: 指定为true时,删除数据库下的表;指定为false时,只能删除空的数据库。 delete_data: 指定为true时,级联删除会将表的数据放入回收站;指定为false时,不删除表数据。
/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 父主题: 如何调用API