检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。 可以在右上方“OBS授权路径”、“授权主体”、“主体类型”、“主体来源”中搜索待查看权限的对应信息。 在列表中查看数据授权信息。 相关字段说明如下:
秒级计费,按小时结算。 更改计费模式 暂不支持。 变更规格 支持变更实例规格。 适用场景 适用于使用需求波动的场景,可以随时开通,随时删除。 到期与欠费 用户欠费后,可以查看欠费详情。为防止相关资源被停止或者释放,需要用户及时进行充值。如果账户余额不足,账号将进入欠费状态,需要在约定
元数据 数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。
g相关信息。 单击“操作”列的“编辑”可以修改Catalog配置信息。 单击“操作”列的“数据库”,可以查看当前Catalog下的数据库信息。 在“更多”中可以为当前Catalog进行授权、查看权限等操作。 如果需要删除Catalog,可以选择“更多 > 删除”,确认操作影响后单击“确定”。
配置LakeFormation实例 LakeFormation实例创建完成后,可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格:对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例:设置当前实例为默认实例
数据目录(CATALOG):LakeFormation管理的数据目录,可以包含多个数据库。 数据库(DATABASE):LakeFormation管理的数据库,可以包含多个数据表或函数。 数据表(TABLE):LakeFormation管理的数据表,可以包含多个列。 列(COLUMN):LakeFormation管理的列。
FullAccess权限的用户。 对于其账号下的所有元数据具有读写权限。 可以向任何用户、用户组、角色授予或撤销任何元数据的访问权限。 数据库创建者:拥有其创建的数据库的所有数据库权限,拥有其在数据库中创建表的权限,并且可以向同一IAM账号中的其他用户授予在数据库中创建表的权限。数据库创建
元数据,则新增的元数据将不会被迁移,需要再次运行迁移任务。也可以使用元数据发现功能,迁移新增的元数据,具体请参考元数据发现。 如果任务运行失败,在修复故障后可再次单击“操作”列的“运行”进行重试。 迁移任务完成后,可以在对应的元数据界面进行查看。例如进入“元数据 > 数据库”页面查看迁移完成的数据库。
注册华为云账号 在使用华为云服务之前您需要申请华为云账号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。
事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。 创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。 单击“停止”即可停止正在运行的任务。 单击“查看日志”可以查看任务运行产生的日志。
事件通知开关:开启后表示启用事件通知。 事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。 创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。 单击“查看日志”可以查看任务运行产生的日志。 在运行迁移任务前
CUSTOM:用户自定义脱敏规则。 说明: 设置列脱敏规则后,操作类型仅可以选择“SELECT”。 LakeFormation仅提供动态脱敏策略管理与获取功能。LakeFormation不处理动态脱敏策略冲突。 列脱敏参数 列脱敏类型对应的选项。可以参考表2进行配置。资源类型为“列”时显示该参数。 路径
使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能。 准备操作 注册华为云帐号 授权用户使用LakeFormation
限,统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用户/用户组,也可以通过关联LakeFormation服务的细粒度权限策略进行特性权限场景的授权,参见创建LakeFormation自定义IAM策略。当湖内数
g、所属数据库、类型、函数类名等信息。 单击“操作”列的“编辑”可以修改函数配置信息。 单击“操作”列的“授权”,可以为当前函数进行授权操作。 在“更多”中可以为当前函数进行查看权限等操作。 如果需要删除函数,可以选择“更多 > 删除”,确认操作影响后,单击“确定”。 删除元数据
创建完成后,即可在数据表页面查看表名称/ID、所属Catalog、所属数据库、类型、存储位置等信息。 单击“操作”列的“编辑”可以修改数据表配置信息。 在“更多”中可以为当前数据表进行授权、查看权限等操作。 单击数据表名称,可以查看当前数据表的详细元数据信息。 其中格式与序列化信息包含存储格式、输入格式、输出格式等。
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
-P"${HIVE_PROFILE}" SPARK_PROFILE:填写spark-3.1或者spark-3.3。 HIVE_PROFILE:填写hive-2.3。 打包完成后可以在“lakeformation-lakecat-client”的target目录下获取“lakeformation-lakecat-client-1
LakeFormation将统计用户当前的元数据对象使用量,按量收费。 10000 企业项目 选择集群所属的企业项目。如果当前无可用企业项目,可以单击“新建企业项目”进行创建。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。