检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan数据性能 提升HBase实时写数据效率 提升HBase实时读数据效率 提升HBase非业务高峰期的Compaction执行速度 HBase JVM参数优化说明
使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库 使用Loader从HDFS导出数据到MOTService
Storm Storm基本原理 Storm与其他组件的关系 Storm开源增强特性 父主题: 组件介绍
Ranger Ranger基本原理 Ranger与其他组件的关系 父主题: 组件介绍
MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题: 组件介绍
MemArtsCC MemArtsCC基本原理 MemArtsCC与其他组件的关系 父主题: 组件介绍
发行版本 版本概述 版本说明
物联网时序数据分析 物联网时序数据分析场景介绍 手动将CSV离线数据导入至IoTDB 使用HetuEngine查询IoTDB时序数据 使用Grafana对接IoTDB数据库 父主题: 数据分析
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务
", "obs:bucket:ListBucket", "obs:object:PutObject", "obs:object:GetAccessLabel", "obs:object:DeleteAccessLabel", "obs:object:PutAccessLabel"
IAM用户同步 OBS权限映射 用户通过该功能配置访问OBS权限,实现MRS用户对OBS桶下的目录权限控制。 例如,您只允许用户组A访问某一OBS桶中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。
跨AZ构建高可用性系统的需求。 图1表示区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议
不支持 支持 Manager操作审计日志 不支持 支持 资源监控 支持 支持 MRS集群管理对象说明 MRS集群包含了各类不同的基本对象,不同对象的描述介绍如表2所示。 表2 MRS基本对象概览 对象 描述 举例 组件 可以完成具体业务的一类功能集合。 例如KrbServer组件和LdapServer组件。
、数据恢复等内容。 Hadoop数据迁移到华为云MRS服务 本实践使用华为云CDM服务将Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据(支持数据
好的MRS集群名称,在集群的“概览”页面中,单击“选择委托”,选择创建好的OBS委托后单击“确定”。 步骤3:创建Hive表并加载OBS中数据 在服务列表中选择“存储 > 对象存储服务 OBS”,登录OBS控制台,单击“并行文件系统 > 创建并行文件系统”,填写以下参数,单击“立即创建”。
业商机。 MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性
配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制用户对资源的访问范围。例如您的员工中有负责应用开发的人员,您希望开发人员拥有MapReduce服务的使用权限,但是不希望其拥有删除MRS集群等高危操作的权限
park、Presto、Flink组件支持该功能。通过IAM委托对接OBS主要操作如下: 创建具有访问OBS权限的ECS委托 创建存算分离集群 创建OBS文件系统用于存放数据 配置生命周期规则 创建具有访问OBS权限的ECS委托 MRS在IAM的委托列表中预置了MRS_ECS_D
步骤3:检查迁移后的文件信息 登录迁移目的端集群主管理节点。 在集群客户端内执行hdfs dfs -ls -h /user/命令查看迁移目的端集群中已迁移的文件。 (可选)如果源端集群中有新增数据需要定期将新增数据迁移至目的端集群,则配置定期任务增量迁移数据,直到所有业务迁移至目的端集群。 在CDM集
应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异,具体操作详情以实际版本对应的操作指导为准。