-
计费说明 - 湖仓构建 LakeFormation
放,需要用户及时进行充值。如果账户余额不足,账号将进入欠费状态,需要在约定时间内支付欠款,详细操作请参考欠费还款。 如果没有及时的进行续费或充值,将进入宽限期。如宽限期满仍未续费或充值,将进入保留期。在保留期内资源将停止服务。保留期满仍未续费或充值,存储在云服务中的数据将被删除、
-
根据条件分页列举表信息 - 湖仓构建 LakeFormation
marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page 否 Boolean 是否查询上一页。默认为false。 deleted 否 Boolean 是否查询被删除元数据。 请求参数 表3 请求Header参数 参数 是否必选 参数类型
-
湖仓构建 LakeFormation - 湖仓构建 LakeFormation
LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建湖仓和运营相关业务,加速释放业务数据价值。 Lak
-
权限迁移 - 湖仓构建 LakeFormation
事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。 创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。 单击“查看日志”可以查看任务运行产生的日志。 在运行迁移任务前,需要已对用户进行任务授权,详情请参考任务授权。
-
SDK概述 - 湖仓构建 LakeFormation
页签查看对应编程语言类型的SDK代码,如图1所示。 图1 获取SDK代码示例 当您在中间的填充栏填入对应内容时, 右侧代码示例栏会自动拼装参数到代码中供您进行使用。 图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表,您可以在GitHub仓库
-
共享型与独享型LakeFormation对比 - 湖仓构建 LakeFormation
√ √ 元数据迁移管理 支持将外部服务的元数据全量或增量迁移至当前LakeFormation实例中,对元数据进行统一管理。 √ √ 权限迁移管理 支持将外部服务的元数据权限全量或增量迁移至当前LakeFormation实例中,对元数据的权限进行统一管理。 √ √ 接入客户端管理
-
获取表信息 - 湖仓构建 LakeFormation
String 最后访问时间。 update_time String 表元数据最后一次修改时间。 last_analyzed_time String 上一次做列级别的统计信息计算的时间。 owner String 用户信息。 owner_type String 用户类型,USER-用户,GROUP-组,ROLE-角色。
-
产品生命周期 - 湖仓构建 LakeFormation
eFormation实例状正在进行资源准备。 资源准备失败 创建LakeFormation实例后,LakeFormation实例准备资源失败。 运行中 LakeFormation实例正常运行状态。在这个状态的实例可以运行您的业务。 资源释放中 执行删除LakeFormation实例操作后,资源正在进行释放。
-
管理接入客户端 - 湖仓构建 LakeFormation
IP等信息。 根据获取的接入IP等信息,完成其他云服务与LakeFormation的对接。 详细操作请参考对应云服务对接LakeFormation的操作指导。例如与MRS对接,则参考配置LakeFormation数据连接章节进行操作。
-
约束与限制 - 湖仓构建 LakeFormation
元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 Lake
-
查询策略 - 湖仓构建 LakeFormation
marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page 否 Boolean 是否查询上一页。默认为false。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of
-
错误码 - 湖仓构建 LakeFormation
00011061 CCE集群节点上的POD数量比例超过上限。 请检查CCE集群节点并且手动迁移POD。 500 00011062 湖仓构建服务获取委托token失败。 请创建委托。 500 00011063 获取用户ID失败。 请检查接入客户端或所属实例是否正常。 500 00011064 获取项目ID失败。
-
列举分区信息 - 湖仓构建 LakeFormation
marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page 否 Boolean 是否查询上一页。默认为false。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of
-
元数据发现 - 湖仓构建 LakeFormation
再次执行元数据发现时的发现策略。 全量发现:再次执行发现操作时,发现数据存储位置下的所有文件。 增量发现:再次执行发现操作时,发现上次任务(运行成功的)开始运行后,数据存储位置下新增的文件。 执行策略 选择当前迁移任务的执行策略。 手动执行:手动触发执行迁移任务。 选择该方式后,需要在任务创建完成后,单击“操作”列的“运行”运行当前迁移任务。
-
根据表名列举表信息 - 湖仓构建 LakeFormation
String 最后访问时间。 update_time String 表元数据最后一次修改时间。 last_analyzed_time String 上一次做列级别的统计信息计算的时间。 owner String 用户信息。 owner_type String 用户类型,USER-用户,GROUP-组,ROLE-角色。
-
管理Catalog - 湖仓构建 LakeFormation
Catalog数据存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。 所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1”。如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。 建议
-
管理数据库 - 湖仓构建 LakeFormation
效提升数据资产价值。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加数据库的Catalog。 已参考创建元数据存储路径提前创建了用于存储数据库的OBS并行文件系统。 创建数据库 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建
-
元数据 - 湖仓构建 LakeFormation
Functions),用于接受多个输入数据行,并产生一个输出数据行。 用户定义表生成函数UDTF(User-Defined Table-Generating Functions),用于操作单个输入行,产生多个输出行。 分区(Partition) 分区是对数据表按照行维度进行分割,目的是为了在特定S
-
修改表信息 - 湖仓构建 LakeFormation
String 最后访问时间。 update_time String 表元数据最后一次修改时间。 last_analyzed_time String 上一次做列级别的统计信息计算的时间。 owner String 用户信息。 owner_type String 用户类型,USER-用户,GROUP-组,ROLE-角色。
-
创建LakeFormation实例及客户端连接 - 湖仓构建 LakeFormation
前完成以下准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果执行MRS对接LakeFormatio