检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云审计服务(Cloud Trace Service,CTS) 云审计服务记录LakeFormation服务相关的操作事件,方便用户日后的查询、审计和回溯。 对象存储服务(Object Storage Service,OBS) LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储
ble,包含基本信息、格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF(User-Defined Functions)。 用户自定义函数分为以下几类:
账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormat
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表8 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment 否 String 列描述信息。最大长度为4000个字符。 表6 Order 参数 是否必选 参数类型 描述 column 否 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment 否 String 列描述信息。最大长度为4000个字符。 表7 Order 参数 是否必选 参数类型 描述 column 否 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
表的Owner只能包含字母、数字和下划线(_),且长度为1~49个字符。不能包含中划线(-)等其他字符。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 如果需要进行多次迁移,表的列更新需要满足列排序和列类型一致的兼容性要求。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment 否 String 列描述信息。最大长度为4000个字符。 表8 Order 参数 是否必选 参数类型 描述 column 否 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
ble,包含基本信息、格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF。 分区(Partition) 分区是对数据表按照行维度进行分割,目的
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表8 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表8 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
管理数据表 用户在数据目录(Catalog)中可对元数据库和元数据表进行管理,按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表8 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表7 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment 否 String 列描述信息。最大长度为4000个字符。 表7 Order 参数 是否必选 参数类型 描述 column 否 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表8 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。