检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否 String 估算唯一值使用的位图。 表13 DateColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 否 String 列中的最小时间戳。 maximum_value 否 String 列中的最大时间戳。 number_of_null
bit_vector String 估算唯一值使用的位图。 表12 DateColumnStatisticsData 参数 参数类型 描述 minimum_value String 列中的最小时间戳。 maximum_value String 列中的最大时间戳。 number_of_null
将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储
在“我的凭证”页面中选择“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 根据提示输入对应信息,单击“确定”,在弹出的提示页面单击“立即下载”。 下载成功后,打开凭证文件,获取AK/SK信息。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次
在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。
Integer 本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。 previous_marker String 上一页查询地址。当不存在上一页,则值为
Integer 查询返回条数。默认值为1000。最小值为1,最大值为2000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page 否 Boolean 是否倒序查询。 deleted 否 Boolean 是否查询被删除元数据。 请求参数
description String 数据库描述信息。 location String 数据库路径地址。例如obs://location/uri/。 data_statistic_enable Boolean 数据概况统计开关。默认状态为关,若要开启database下table的数据概况统计,需要先打
本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果
description String 数据库描述信息。 location String 数据库路径地址。例如obs://location/uri/。 data_statistic_enable Boolean 数据概况统计开关。默认状态为关,若要开启database下table的数据概况统计,需要先打
删除分区列的统计信息 功能介绍 删除分区列的统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/instanc
否 String 估算唯一值使用的位图。 表13 DateColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 否 String 列中的最小时间戳。 maximum_value 否 String 列中的最大时间戳。 number_of_null
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。
调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要调用接口来查询云服务器列表,那么这个IAM用户被授予的策略中必须包含允许“ecs:server
bit_vector String 估算唯一值使用的位图。 表12 DateColumnStatisticsData 参数 参数类型 描述 minimum_value String 列中的最小时间戳。 maximum_value String 列中的最大时间戳。 number_of_null
列举分区信息 功能介绍 遍历指定数据表下的分区列表,对于事务表,支持基于表的特定版本遍历分区列表。 当过滤条件不为空时,优先根据过滤条件筛选过滤, 当过滤条件为空且分区值不为空时,再根据分区值筛选过滤, 当过滤条件和分区值都为空时,返回指定数据表下所有分区。 调试 您可以在API
表”,在右上角“Catalog”和“数据库”后的下拉框中分别选择待授权数据表所属的Catalog、数据库的名称,单击待授权数据表“操作”列的“授权”。 函数:在左侧导航栏选择“元数据 > 函数”,在右上角“Catalog”和“数据库”后的下拉框中分别选择待授权函数所属的Catalog、数据库的名称,单击待操作函数“操作”列的“授权”。
> 数据库”页面查看迁移完成的数据库。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。 单击“操作”列“查看日志”可以查看任务运行产生的日志。 默认显示最近的50行日志。 可单击日志最下方超链接查看完整日志,具体配置请参考下载对象章节。 日志中常见报错信息及对应原因如下:
管理角色 某个角色拥有资源(比如数据库)的某些权限,则拥有这个角色的用户或者用户组也拥有了对应的资源操作权限。 如果与LakeFormation实例对接的服务需要使用角色授权,则在创建对接LakeFormation权限的委托时必须包含角色的相关权限。 例如,LakeFormati