正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 湖仓构建 LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务。 产品介绍 立即使用 成长地图 由浅入深,带您玩转LakeFormation
注册华为云账号 在使用华为云服务之前您需要申请华为云账号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。
对接LakeFormation元数据 Spark对接LakeFormation有以下两种对接方式,建议根据需要选择其中一种方式进行对接。 使用SparkCatalogPlugin方式对接:SparkCatalogPlugin方式对接基于Spark SessionCatalogV2,支持对接多个Cat
策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。多数细粒度策略以API接口为粒度进行权限拆分,LakeFormation的自定义IAM策略操作可参考创建LakeFormation自定义IAM策略。
备倒换,需要重新绑定弹性IP到主节点。 数据库连接端口安全组是否放开。 如果选择EIP连接方式,任务运行前,数据源的安全组规则需要把0.0.0.0/0全部放开。 如果选择VPC对等连接方式,任务运行前,数据源的安全组规则需要把对等连接中对端访问IP放开。 输入的vpc网段与lakeformtion网段冲突
数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建湖仓和运营相关业务,加速释放业务数据价值。
收费。 10000 企业项目 选择集群所属的企业项目。如果当前无可用企业项目,可以单击“新建企业项目”进行创建。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 xxx 描述 当前实例的描述信息。 - 标签 在标签键/值
执行策略 选择当前迁移任务的执行策略。 手动执行:手动触发执行迁移任务。 选择该方式后,需要在任务创建完成后,单击“操作”列的“运行”运行当前迁移任务。 调度执行:周期性自动执行迁移任务。 选择该方式后,可根据实际需要选择调度执行的周期(“每月”、“每周”、“每日”、“每小时”)并配置对应参数。
Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。 M
akeFormation实例中,对元数据的权限进行统一管理。 √ √ 接入客户端管理 提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,用于其他云服务接入LakeFormation实例。 √ √
全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对LakeFormation服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。
元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB(DWS) 数据湖探索(DLI) 支持情况请咨询对应服务。
创建客户端 登录华为云管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。 单击“
tion.version}</version> </dependency> //新增认证信息获取类,实现IdentityGenerator接口 /* * Copyright (c) Huawei Technologies Co., Ltd. 2023-2023. All rights
管理接入客户端 用户可以通过接入管理页面,简单快速地创建并管理接入客户端,可以在客户端详情中获取接入IP等信息,用于多种服务接入LakeFormation实例。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
修改DNS信息 登录华为云管理控制台。 在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云
准备LakeFormation实例 如果您是第一次使用LakeFormation,请参考准备工作章节,完成帐号注册及授权等操作。 创建实例相关步骤请参考创建LakeFormation实例章节。 已创建待操作华为云账号的访问秘钥AK/SK信息。具体操作请参考获取AK/SK章节。 父主题:
区域与可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内
什么是区域和可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现最大程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。