检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 模糊匹配主体名称。只能包含中文、字母、数字和_|*.-特殊字符,且长度为1~49个字符。 limit 否 Integer 查询返回条数。默认值为100。最小值为1,最大值为1000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为1024。
否 String 模糊匹配角色名称。只能包含字母、数字和_|*.-特殊字符,且长度为1~255个字符。 limit 否 Integer 查询返回条数。默认值为100。最小值为1,最大值为1000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为1024。
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 查询返回条数。默认值为1000。最小值为1,最大值为2000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。
configCenter) { //初始化 } @Override public Identity generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置:
否 String 函数名称通配符。只能包含字母、数字和_|*.特殊字符,且最大长度为256个字符。 limit 否 Integer 查询返回条数。默认值为1000。最小值为1,最大值为2000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。
String 数据库名称通配符。只能包含中文、字母、数字和_|*.-特殊字符,且长度为1~128个字符。 limit 否 Integer 查询返回条数。默认值为1000。最小值为0,最大值为1000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。
参数类型 描述 marker 否 String 查询起始object名称。最大长度为4096个字符。 limit 是 Integer 查询返回条数。最小值为1,最大值为1000。 prefix 否 String 搜索前缀。最大长度为4096个字符。 请求参数 表3 请求Header参数
4947-b20b-adfc53981a25。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 查询返回条数。默认值为5000。最小值为1,最大值为10000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为1024。
创建LakeFormation实例 湖仓构建 LakeFormation 创建LakeFormation元数据并授权 06:36 创建LakeFormation元数据并授权
支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作
执行以下命令重新编译Hive内核源码。 mvn clean install -DskipTests=true 准备并补充替换Hive内核相关的jar包。 获取以下jar包,并补充或替换到Hive安装环境的lib目录下。 表1 获取Hive环境所需jar包 序号 jar包名称 获取途径
限。 DNS FullAccess:实例的接入管理功能,需要有操作DNS内网域名的权限。 勾选“同意LakeFormation服务声明”,并单击“同意授权”,完成服务授权。 同意授权后,LakeFormation将在统一身份认证服务中创建名为lakeformation_admin
OTHER principal_name 否 String 授权主体名称。长度为1~1000个字符。 limit 否 Integer 查询返回条数。默认值为1000。最小值为1,最大值为2147483647。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。
任务管理接口,包括创建任务、列举任务信息等接口。 通过这些可口,您可以创建并管理任务。 服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备LakeF
终端节点获取。 project_id:参考获取项目ID获取。 操作步骤 调用创建实例接口,创建LakeFormation实例,同时记录接口返回的实例Id。 请求示例: POST https://{endpoint}/v1/{project_id}/instances Body: {
如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。 注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考实名认证。 父主题: 准备工作
选择该方式后,可根据实际需要选择调度执行的周期(“每月”、“每周”、“每日”、“每小时”)并配置对应参数。 主体类型 (可选)选择了主体后将默认为主体赋予数据存储位置的读权限。 可选择为“用户组”、“角色”、“IAM用户”、“委托用户”,并选择具体授权的主体。 如果选择的授权主体名称中带有中划线,此功能可能有失败风险。
supports_policy_deltas 否 Boolean 是否支持增量同步策略。默认为false。 is_return_policy_data 否 Boolean 是否返回权限策略数据。默认为true。 catalog_name 否 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。