-
环境准备 - 湖仓构建 LakeFormation
Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9,则下载链接为https://github.com/apache/hive/tree/rel/release-2.3.9。
-
环境准备 - 湖仓构建 LakeFormation
huaweicloud-lake-formation-lakecat-sdk-java/releases 根据Spark、Hive版本下载对应客户端(Hive版本为2.3.9,则下载lakeformation-lakecat-client-hive2.3-v1.0.0.rar) 校验压缩包:下载后在Windows
-
创建客户端 - 湖仓构建 LakeFormation
如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表1 创建客户端 参数 参数说明 客户端名称 LakeFormation客户端名称。 虚拟私有云 准备运行调测的环境所在虚拟私有云。 所属子网 准备运行调测的环境所在子网。
-
删除Catalog对象 - 湖仓构建 LakeFormation
删除前需要保证catalog下只有默认的数据库,且默认数据库下没有表对象,否则删除失败。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
-
配置LakeFormation实例 - 湖仓构建 LakeFormation
如果其他服务对接LakeFormation实例时,没有指定具体的实例ID,该操作将会修改服务对接的实例。 变更实例规格 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
-
权限及授权项说明 - 湖仓构建 LakeFormation
默认情况下,新建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略或角色,才能使用户组中的用户获得相应的权限,这一过程称为授权。授权后,用户就可以基于已有权限对云服务进行操作。 权限根据授权的精细程度,分为角色和策略。
-
管理接入客户端 - 湖仓构建 LakeFormation
如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表1 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云 待接入服务所在的虚拟私有云。 所属子网 待接入服务所在的子网。 单击“操作”列“查看详情”,打开详细信息页面。
-
注册华为云账号 - 湖仓构建 LakeFormation
如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。 注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考实名认证。 父主题: 准备工作
-
错误码 - 湖仓构建 LakeFormation
403 00000132 由于实例已冻结,因此没有请求该方法的权限。 请联系运维人员。 403 00000133 由于用户已冻结,因此没有请求该方法的权限。 请联系运维人员。 403 00000134 由于用户已受限,因此没有请求该方法的权限。 请检查账户余额或联系运维人员。
-
创建LakeFormation自定义IAM策略 - 湖仓构建 LakeFormation
lakeformation:table:describe", "lakeformation:database:describe" ] } ] } 示例2:拒绝用户删除数据 拒绝策略需要同时配合其他策略使用,否则没有实际作用
-
计费说明 - 湖仓构建 LakeFormation
如果没有及时的进行续费或充值,将进入宽限期。如宽限期满仍未续费或充值,将进入保留期。在保留期内资源将停止服务。保留期满仍未续费或充值,存储在云服务中的数据将被删除、云服务资源将被释放。详细说明请参考“资源停止服务或逾期释放说明”。宽限期与保留期的具体规则请参考“宽限期保留期”。
-
管理Catalog - 湖仓构建 LakeFormation
如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。 建议选择未被其他Catalog选中的文件夹。 描述 所创建Catalog的描述信息。 长度为0~4000字节,1个中文字符对应3个字节。 (可选)单击“数据库存储位置”区域中的“添加数据库存储位置”。
-
LakeFormation使用流程简介 - 湖仓构建 LakeFormation
Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。
-
创建LakeFormation实例及客户端连接 - 湖仓构建 LakeFormation
如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表2 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云 选择为MRS服务所在的虚拟私有云。 所属子网 选择为MRS服务所在的子网。
-
修改任务信息 - 湖仓构建 LakeFormation
secret_key 否 String 密钥,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥, 查询和列举时不能暴露此密钥。
-
创建任务 - 湖仓构建 LakeFormation
secret_key 否 String 密钥,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥, 查询和列举时不能暴露此密钥。
-
管理数据库 - 湖仓构建 LakeFormation
如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。 必须与所属的Catalog存储路径(即创建Catalog时配置的“选择位置”参数)不同。
-
获取任务详情 - 湖仓构建 LakeFormation
secret_key String 密钥,此值只在创建或更新任务时可能传入,为空值时代表没有密钥或不需要更新密钥, 查询和列举时不能暴露此密钥。
-
基于策略授权的服务授权项 - 湖仓构建 LakeFormation
如果该操作项资源类型列没有值(-),则表示条件键对整个操作项生效。 如果此列没有值(-),表示此操作不支持指定条件键。 关于LakeFormation定义的条件键的详细信息请参见条件(Condition)。
-
管理数据表 - 湖仓构建 LakeFormation
如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。 必须与所属的Catalog、数据库的存储路径不同。 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。 是否压缩 数据表是否压缩。