检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn
number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings 租户token。 表3 请求Body参数 参数 是否必选 参数类型 描述 principal_list 是 Array of Principal
并且只需为您所使用的服务付费。 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。 注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考实名认证。
number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo
number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo
JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图4 Select Home Directory for JDK 完成JDK选择后,单击“OK”完成配置。 图5 完成JDK配置 不同的IDEA版本的操作步骤可能存在差异,以实际版本的界面操作为准。 设置项目使用的Maven版本。
对于获取用户Token接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,domainname为用户所属的账号名称,********为用户登录密码,xxxxxxxxxx为project的名称,如cn-no
表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute 否 String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。
# 可选参数,关闭OBS文件系统缓存,长任务需要增加该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site
LakeFormation对于元数据权限和数据权限的管理,使用“粗粒度”的Identity and Access Management(简称IAM)权限和“细粒度”的LakeFormation权限的组合,实现精细访问控制。 “粗粒度”的IAM权限:对于各项操作有更广泛的权限。例如,推荐用户使用“la
表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute 否 String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。
样例。 例如使用LakeFormation Java SDK开发程序的参考代码如下: (如下代码介绍了初始化SDK、创建LakeFormationClient实例、创建请求,添加参数、查询Catalogs列表的相关代码。) package com.huawei.cloud.dalf
查看审计日志 云审计服务是安全解决方案中专业的日志审计服务,记录了LakeFormation的相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog
分区统计信息 批量获取分区的列统计信息 批量设置分区的统计信息 删除分区列的统计信息 父主题: LakeCat
数据表管理 分页获取表的描述信息 根据表名列举表信息 根据条件分页列举表信息 创建表 获取表信息 修改表信息 删除表 列举库下所有表名 父主题: LakeCat
数据表统计 获取表的列统计信息 更新表的列统计信息 删除表的指定列统计信息 父主题: LakeCat
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name>
og下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。 单击“提交”。 创建完成后,即可在“Catalog”页面查看Catalog相关信息。 单击“操作”列的“编辑”可以修改Catalog配置信息。 单击“操作”列的“数据
在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。