已找到以下 137 条记录
产品选择
湖仓构建 LakeFormation
没有找到结果,请重新输入
产品选择
湖仓构建 LakeFormation
产品选择
没有找到结果,请重新输入
  • 计费说明 - 湖仓构建 LakeFormation

    元数据对象数量 按照元数据对象使用量收费,元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 前100万个不计费,后续按照万个/小时计费,不足万个按照万个计算。 API调用次数 按照元数据相关API的调用次数收费,每个月前100万次不收费,后续按每次计费。 计费模式

  • 创建元数据存储路径 - 湖仓构建 LakeFormation

    创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储

  • 创建LakeFormation实例 - 湖仓构建 LakeFormation

    LakeFormation将统计用户当前的元数据对象使用量,按量收费。 10000 企业项目 选择集群所属的企业项目。如果当前无可用企业项目,可以单击“新建企业项目”进行创建。 企业项目是一种资源管理方式,企业项目管理服务提供统一的资源按项目管理,以及项目内的资源管理、成员管理。 xxx

  • 创建LakeFormation实例及客户端连接 - 湖仓构建 LakeFormation

    单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有或子网,可以单击“前往VPC创建”。 表2 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有 选择为MRS服务所在的虚拟私有。 所属子网 选择为MRS服务所在的子网。 单击“操作”列

  • 管理Catalog - 湖仓构建 LakeFormation

    (可选)单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按照需求手动选择数据库存储位置,单击“确定”。支持添加多条。 “数据库存储位置”为可选参数。如果配置了该参数,则该Catalog下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。

  • 配置云服务授权 - 湖仓构建 LakeFormation

    配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关资源的权限。 云服务授权操作 使用注册华为账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAc

  • 元数据迁移 - 湖仓构建 LakeFormation

    并将数据存储在OBS中进行统一管理。 在迁移hive元数据时,为避免迁移元数据时发生路径冲突,建议hive Catalog路径与default数据库路径保持一致。 前提条件 当前实例已创建存储迁移元数据的Catalog。 待操作用户具有OBS相关操作权限、具有已创建存储迁移元数据的Catalog的操作权限。

  • 错误码 - 湖仓构建 LakeFormation

    00000070 路径应为Catalog存储位置或者数据库存储位置列表的子路径。 请检查输入位置路径。 400 00000071 路径应为数据库存储位置或者数据表存储位置列表的子路径。 请检查输入位置路径。 400 00000072 路径应为数据库存储位置或者函数存储位置列表的子路径。 请检查输入位置路径。

  • 资产识别与管理 - 湖仓构建 LakeFormation

    读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久

  • 管理函数 - 湖仓构建 LakeFormation

    数位置,单击“确定”。支持添加多条。 “函数位置”为可选参数。 如果函数所属数据库配置了“函数存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的路径及其子路径、或“函数存储位置”的路径及其子路径。 单击“提交”。 创建完成后,即可在“函数”页面查看函数名称/ID、所

  • 约束与限制 - 湖仓构建 LakeFormation

    建库时路径不能为所在Catalog父路径或相同路径,不能为同一Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置必须在所属Catalog的存储位置之下。 用户自定义创建的Catalog对象及其子元数据对象,暂不支持授权和细粒度权限控制。 LakeFormation

  • 管理数据表 - 湖仓构建 LakeFormation

    必须与所属的Catalog、数据库的存储路径不同。 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。 是否压缩 数据表是否压缩。 压缩表能够使表中的数据以压缩格式存储,表压缩能提升性能,减少存储空间。 数据源格式

  • 管理数据库 - 湖仓构建 LakeFormation

    个字节。 (可选)单击“数据表存储位置”区域中的“添加数据表存储位置”。单击“”按照需求手动选择数据表存储位置,单击“确定”。支持添加多条。 “数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。 如果配置

  • 审计 - 湖仓构建 LakeFormation

    云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。

  • 注册华为账号 - 湖仓构建 LakeFormation

    注册华为账号 在使用华为云服务之前您需要申请华为账号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 如果您已有一个华为账户,请跳到下一个任务。如果您还没有华为账户,请参考以下步骤创建。 操作步骤 打开华为网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。

  • 什么是项目 - 湖仓构建 LakeFormation

    什么是项目 的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买

  • 元数据发现 - 湖仓构建 LakeFormation

    “引号字符”、“是否把第一行当做列名”等参数) Avro 说明: 如果数据存储位置下的文件后缀为同一类型,建议选择对应发现类型。 如果数据存储位置下的文件后缀为多种类型,建议选择“自动发现”。 如果数据存储位置下的文件不带后缀,建议选择对应类型。如果选择“自动发现”,则系统默认以

  • 权限迁移 - 湖仓构建 LakeFormation

    Formation,DLF)权限策略 RANGER:MRS集群中Ranger权限策略 日志存储位置 运行迁移任务时,产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。

  • 数据湖建设和持续运营 - 湖仓构建 LakeFormation

    )执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对用户操作带来不便,易用性差。 LakeFormation服务优势 一站式可视化湖仓构建:提供数据湖元数据统一定义和授权

  • 规划数据湖 - 湖仓构建 LakeFormation

    定义),数据库内包含两个数据表“table_A”、“table_B”,并进行授权。 创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。