检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment 否 String 列描述信息。最大长度为4000个字符。 表6 Order 参数 是否必选 参数类型 描述 column 否 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
欢迎使用LakeFormation。使用LakeFormation实例,您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。
权限和授权项 权限及授权项说明 基于策略授权的服务授权项
ult”的数据库(已创建可忽略),否则会导致spark-sql初始化异常或spark-shell无法对接。 对接后验证。 对接后可通过spark-shell或执行SQL访问LakeFormation,以下spark-sql为例。 切换数据库(切换时无需指定catalog名称): use
MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_G
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment 否 String 列描述信息。最大长度为4000个字符。 表7 Order 参数 是否必选 参数类型 描述 column 否 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表8 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
信息,支持创建、修改、删除以及授权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF。 分区(Partition) 分区是对数据表按照行维度进行分割,目的是为了在特定SQL操作中减少数据读写的总量以缩减响应时间。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment 否 String 列描述信息。最大长度为4000个字符。 表7 Order 参数 是否必选 参数类型 描述 column 否 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表8 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_G
MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_G
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表8 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
MRS云数据库RDS(for MySQL) 开源HiveMetastore(for MySQL) MRS云数据库RDS(for PostgreSQL) MRS本地数据库 JDBC URL 待迁移元数据JDBC链接的URL。“数据源类型”不为“DLF”时配置该参数。 说明: 例如: MySQL数据源类型JDBC
spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考 spark.sql.catalog.catalog_name.lakecat.auth.identity.util.class=com.huawei.cloud
列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 comment String 列描述信息。最大长度为4000个字符。 表7 Order 参数 参数类型 描述 column String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
ble,包含基本信息、格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF(User-Defined Functions)。 用户自定义函数分为以下几类:
当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。 元数据发现当前仅支持Spark
获取临时密钥和securityToken 功能介绍 获取临时密钥和securityToken,失效时间大于等于1小时,请在1小时内更新此,接口仅能从租户面调用,无法从管控面调用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自