检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询等接口。 通过这些接口,您可以创建实例、获取已创建实例的信息等。 任务管理 任务管理接口,包括创建任务、列举任务信息等接口。 通过这些可口,您可以创建并管理任务。 服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeForm
委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST agency_name String 委托名称 authorized Boolean 授权与否,委托未创建返回false,委托action与系统需要的是否一致,不一致返回false,否则返回true。
对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
Query参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 请求参数 表3 请求Header参数 参数 是否必选 参数类型
授权对象支持Catalog、数据库、表及列、函数等元数据对象,也支持OBS并行文件系统路径。 授权操作包含元数据对象的相关操作,以及OBS路径的读写操作。 Console支持实例管理、元数据管理、数据权限管理、接入管理、任务管理等操作。 API层提供支持兼容Hive社区的元数据接口,以及兼容R
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Catalog下可
Console 实例管理 任务管理 服务授权管理 OBS管理 接入管理 规格管理 配额管理服务 标签管理服务 委托管理 元数据事件管理 Location 父主题: API
请求Body参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 200 表3 响应Header参数 参数
请求Body参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 400 表3 响应Body参数 参数 参数类型
我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。
请求Body参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型
请求Body参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 200 表4 响应Header参数 参数
实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Catalog下可
等待实例状态变为“运行中”表示实例已创建成功。 实例创建成功后,可以查看实例的基本信息及数据概况。 实例创建失败 如果实例创建失败,失败任务会自动转入“创建失败的实例”页面。 选择“大数据 > 湖仓构建 LakeFormation”,在“总览”页面单击左上方“创建失败的实例”,在打开的窗口中查看创建失败的实例信息。
已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。 创建函数 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。 将鼠标
创建LakeFormation自定义IAM策略 如果系统预置的LakeFormation权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
数据库信息存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。 所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1”。如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。
lakecat.client.obs.LakeFormationObsCredentialProvider # 可选参数,关闭OBS文件系统缓存,长任务需要增加该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true