检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最新动态 本文介绍了湖仓构建LakeFormation服务各特性版本的功能发布和对应的文档动态，欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一，支持与MRS集群Hive和Spark对接。
ult”的数据库（已创建可忽略），否则会导致spark-sql初始化异常或spark-shell无法对接。 对接后验证。 对接后可通过spark-shell或执行SQL访问LakeFormation，以下spark-sql为例。 切换数据库（切换时无需指定catalog名称）： use
MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_
myhuaweicloud.com），并在获取用户Token的URI部分找到resource-path（/v3/auth/tokens），拼接起来如下所示。 https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图
后续日常的海量元数据及权限管理，因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎（Hive、Spark等）执行SQL实现元数据的定义、修改、查询，对用户有一定的技能要求，缺少提升易用性的可视化界面。 一个完整的授权活动，需要针对计算引擎、对象存储执行两次
MRS集群取消对接LakeFormation后，RangerAdmin的非默认策略不会清理，需要人工进行清理。 Hive暂不支持Grant授权的SQL语句，需统一在LakeFormation实例的数据权限界面进行授权操作。 MRS暂不支持LakeFormation行过滤权限能力。
MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_
购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享：共享型实例之间，通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享：按照每秒查询率（QPS）上限和元数据使用量进行计费。 独享 计费模式 实例的计费模式。 按需收费：按
MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_
DLF：第三方数据湖构建（Data Lake Formation，DLF） MRS云数据库RDS(for MySQL) 开源HiveMetastore(for MySQL) MRS云数据库RDS(for PostgreSQL) MRS本地数据库 JDBC URL 待迁移元数据JDBC链接的UR
00000065 数据老化错误。 请检查数据老化配置。 500 00000066 SQL执行失败。 请检查SQL文件语法是否正确。 500 00000067 文件的Md5值和远端的不一致。 请检查SQL文件是否做过修改。 400 00000068 default数据库不能删除。 请勿删除默认数据库。
spark-default.conf配置文件中补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考 spark.sql.catalog.catalog_name.lakecat.auth.identity.util.class=com.huawei.cloud
欢迎使用LakeFormation。使用LakeFormation实例，您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理，无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作，如创建删除LakeFormation实例、元数据库、元数据表等。
当数据存储在OBS并行文件系统中，而在LakeFormation还未与对应的元数据关联时，可以通过元数据发现，来构造这些数据对应的元数据信息，从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段，公测期产品完全免费，商业化后会根据元数据发现消耗资源收取资源费用。 元数据发现当前仅支持Spark
本文介绍了LakeFormation服务提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码，如图1所示。
ble，包含基本信息、格式与序列化信息、字段信息、属性信息，支持创建、修改、删除以及授权和查看权限等操作。 函数（Function） 在SQL查询中使用函数对数据进行特定处理，包括内置函数和用户自定义函数UDF（User-Defined Functions）。 用户自定义函数分为以下几类：
CUSTOM：用户自定义脱敏规则。 说明： 设置列脱敏规则后，操作类型仅可以选择“SELECT”。 LakeFormation仅提供动态脱敏策略管理与获取功能。LakeFormation不处理动态脱敏策略冲突。 列脱敏参数 列脱敏类型对应的选项。可以参考表2进行配置。资源类型为“列”时显示该参数。 路径
基本概念 账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。
除以及授权和查看权限等操作。 函数（Function） 在SQL查询中使用函数对数据进行特定处理，包括内置函数和用户自定义函数UDF。 分区（Partition） 分区是对数据表按照行维度进行分割，目的是为了在特定SQL操作中减少数据读写的总量以缩减响应时间。 已发布区域：以控制台实际上线区域为准。
配置云服务授权 首次使用LakeFormation服务需要进行服务授权，授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”，进入“服务授权”页面。 IAM ReadOnlyAc
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
