检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取AK/SK AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。
更新管理 SSL证书采用SSL协议进行通信,SSL证书部署到服务器后,服务器端的访问将启用HTTPS协议。您的网站将会通过HTTPS加密协议来传输数据,可帮助服务器端和客户端之间建立加密链接,从而保证数据传输的安全。 SSL证书存在有效期限制,证书过期后不被信任,已安装证书的网站
选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
数据老化错误。 请检查数据老化配置。 500 00000066 SQL执行失败。 请检查SQL文件语法是否正确。 500 00000067 文件的Md5值和远端的不一致。 请检查SQL文件是否做过修改。 400 00000068 default数据库不能删除。 请勿删除默认数据库。
数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database)
湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。 单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚
instance.id=LakeFormation实例ID #访问lakeformation IAM认证AK信息,可选参数,如果为自定义认证信息获取类可忽略 spark.hadoop.lakeformation.authentication.access.key=AK信息 #访问lakeformation
户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果执行MRS对接LakeFormation,则参考MRS准备工作创建相关委托等。 创建LakeFormation实例 登录管理控制台。
READ 路径下文件的读权限。 WRITE 路径下文件的写权限。 隐式LakeFormation权限 尽管没有在LakeFormation中进行显式的授权,但是LakeFormation管理员、数据库创建者、表创建者拥有隐式LakeFormation权限。 LakeFormation管理员:
删除Catalog对象 功能介绍 删除空的catalog对象。 删除前需要保证catalog下只有默认的数据库,且默认数据库下没有表对象,否则删除失败。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证要高。 Token认证 Token的有效期
资源类型(*为必须) 条件键 lakeformation:job:create 创建LakeFormation任务的权限。 write - - lakeformation:job:describe 查询LakeFormation任务的权限。 read - - lakeformation:job:drop
DLF:第三方数据湖构建(Data Lake Formation,DLF)权限策略 RANGER:MRS集群中Ranger权限策略 日志存储位置 运行迁移任务时,产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog
migration_preference_file_location String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name String 元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
对接LakeFormation实例时,没有指定具体的实例ID,该操作将会修改服务对接的实例。 变更实例规格 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例。
推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久化数据,单AZ故障不造成LakeFormation实例的数据丢失。 父主题:
zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备依赖信息 准备LakeFormation Java SDK依赖 参考Maven SDK地址,在Maven仓库中查看LakeFormation Java SDK最新版本Jar包,并获取文件内容,例如:
ile_location 否 String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name 否 String 元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
ile_location 否 String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name 否 String 元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。 管理数据表 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeForm