检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取项目ID 从控制台获取项目ID 项目ID表示租户的资源,账号ID对应当前账号。用户可在对应页面下查看不同Region对应的项目ID和账号ID。 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 多
基本概念 账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID,所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题: 附录
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 您可以从地区和终端节点中查询服务的终端节点。 请您根据业务需要选择对应区域的终端节点。 父主题: 使用前必读
外部服务接入LakeFormation 概述 本文指导用户通过调用API的方式,介绍外部服务对接LakeFormation的完整流程。 本流程假设终端租户已经在Console界面完成LakeFormation的服务授权。API的调用方法请参见如何调用API。 前提条件 已获取以下信息:
资产识别与管理 资产识别 资产信息:元数据信息、数据权限策略信息。 账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创
基于策略授权的服务授权项 云服务在IAM预置了常用授权项,称为系统策略。如果IAM系统策略无法满足授权要求,管理员可以根据各服务支持的授权项,创建IAM自定义策略来进行精细的访问控制,IAM自定义策略是对系统策略的扩展和补充。 除IAM服务外,Organizations服务中的服务控制策略(Service
迁移除MRS本地数据库以外的数据源类型时,URL中的IP为数据源绑定的弹性公网IP。 此外还需配置以下参数: 用户名:访问数据源所使用的用户。 密码:访问数据源所使用的用户密码。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为
什么是LakeFormation 湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接Ma
-java。 在Git中执行以下命令将分支切换为“master_dev”: git checkout master_dev 配置maven源,详细操作请参考获取SDK并配置maven。 获取以下jar包及对应的pom文件,并将文件放入maven本地仓库。 例如本地仓库地址为“D:
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
表存储位置”的子路径。 是否压缩 数据表是否压缩。 压缩表能够使表中的数据以压缩格式存储,表压缩能提升性能,减少存储空间。 数据源格式 待创建表的数据源格式,目前支持以下类型: Avro Json Xml Parquet Csv Orc Text Rc Sequence 自定义
SDK概述 本文介绍了LakeFormation服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示
java。 并在Git中执行以下命令将分支切换为“master_dev”: git checkout master_dev 配置maven源,详细操作请参考获取SDK并配置maven。 获取以下jar包以及对应的pom文件,并将文件放入maven本地仓库。 例如本地仓库地址为“D
环境准备 简介 准备LakeFormation实例 创建客户端 修改DNS信息
如何获取LakeFormation实例ID 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例。 在实例的“基本信息”中查看“实例ID”参数值,即为当前实例的ID。
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现