-
创建Catalog - 湖仓构建 LakeFormation
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 状态码: 400
-
根据条件分页列举任务信息 - 湖仓构建 LakeFormation
name_pattern 否 String 任务名通配符,用于任务名的匹配。 type 是 String METADATA_MIGRATION:元数据迁移、 PERMISSION_MIGRATION:数据权限迁移、 METADATA_DISCOVERY:元数据发现。 枚举值: METADATA_MIGRATION
-
修改表信息 - 湖仓构建 LakeFormation
number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo
-
数据表统计 - 湖仓构建 LakeFormation
数据表统计 获取表的列统计信息 更新表的列统计信息 删除表的指定列统计信息 父主题: LakeCat
-
如何获取LakeFormation实例ID - 湖仓构建 LakeFormation
登录LakeFormation管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例。 在实例的“基本信息”中查看“实例ID”参数值,即为当前实例的ID。
-
创建表 - 湖仓构建 LakeFormation
number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo
-
列举Catalog信息 - 湖仓构建 LakeFormation
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 状态码: 400
-
数据表管理 - 湖仓构建 LakeFormation
数据表管理 分页获取表的描述信息 根据表名列举表信息 根据条件分页列举表信息 创建表 获取表信息 修改表信息 删除表 列举库下所有表名 父主题: LakeCat
-
删除表 - 湖仓构建 LakeFormation
长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 delete_data 否 Boolean 是否删除表中的数据。默认为false。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of
-
删除LakeFormation实例 - 湖仓构建 LakeFormation
删除后,实例会放在回收站,并继续计费直到从回收站删除。 如果需要恢复已删除的实例,可在左侧导航栏单击“回收站”,单击“操作”列的“还原”,单击“确定”。 实例在回收站存放超过1天后,会自动删除,无法恢复。 为防止您的业务受到影响,实例在回收站中放置15分钟后,才能强制删除。 父主题: 管理LakeFormation实例
-
批量添加分区信息 - 湖仓构建 LakeFormation
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo object 序列化/反序列化信息。 parameters 是 Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。
-
创建客户端 - 湖仓构建 LakeFormation
在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。 单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。
-
列举函数 - 湖仓构建 LakeFormation
000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page 否 Boolean 是否查询上一页。默认为false。 deleted 否 Boolean 是否查询被删除元数据。 请求参数 表3 请求Header参数 参数
-
修改Catalog信息 - 湖仓构建 LakeFormation
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 状态码: 400
-
配置云服务授权 - 湖仓构建 LakeFormation
OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。 VPCEndpoint Administra
-
批量获取分区信息 - 湖仓构建 LakeFormation
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo object 序列化/反序列化信息。 parameters Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。 value最大长度为4000
-
获取Catalog信息 - 湖仓构建 LakeFormation
catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。 状态码: 400
-
列举Catalog下所有的函数 - 湖仓构建 LakeFormation
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
-
环境准备 - 湖仓构建 LakeFormation
将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn
-
环境准备 - 湖仓构建 LakeFormation
将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn