检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 问题 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 回答 CarbonData块分布对于数据处理进行了如下优化: 优化数据处理并行度。 优化了读取块数据的并行性。
同时也可以将数据从关系型数据库或者文件服务器导入到MRS的HDFS/HBase中,或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader基本原理 从零开始使用Loader MapReduce组件 MapReduce是Hadoop的核心,是Google提
Hive支持的传统关系型数据库语法说明 Hive支持如下传统关系型数据库语法: Grouping EXCEPT、INTERSECT Grouping 语法简介: 当group by语句带with rollup/cube选项时,Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
Hive支持的传统关系型数据库语法说明 概述 Hive支持如下传统关系型数据库语法: Grouping EXCEPT、INTERSECT Grouping 语法简介: 当Group by语句带with rollup/cube选项时,Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成j
HDFS支持集群掉电自动恢复 操作场景 HDFS数据写入磁盘时会先写入操作系统缓存,当操作系统缓存写入完成后则认为数据写入完成,缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电,则缓存的数据就会丢失,造成HDFS丢块现象。在HDFS启动时如果有丢块,那么HDFS会进入安全模式,无法自动恢复。
续费概述 包年/包月MRS集群到期后会影响云服务器正常运行。如果您想继续使用,需要在指定的时间内为MRS集群续费,否则集群将终止服务,系统中的数据也将被永久删除。 续费操作仅适用于包年/包月MRS集群,按需计费MRS集群不需要续费,只需要保证账户余额充足即可。 MRS集群在到期前
ratio”参数值,并保存配置。 修改该参数不需要重启即可生效。 参数取值范围为0~1,表示可用于ClickHouse的服务器的总物理RAM量的比例。如服务器物理内存为10G,该值设置为0.9,则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G,如果参数
支持从HBase表导出数据到SFTP服务器 支持从Phoenix表导出数据到SFTP服务器 支持从关系型数据库导入数据到HBase表 支持从关系型数据库导入数据到Phoenix表 支持从关系型数据库导入数据到Hive表 支持从HBase表导出数据到关系型数据库 支持从Phoenix表导出数据到关系型数据库
产生告警的主机名。 对系统的影响 监控指标转储失败会影响上层管理系统无法获取到MRS Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 联系运维人员查看MRS Manager系统与服务器网络连接是否正常。 是,执行3。
弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos认证集群需要在Windows上配置集群的ip与主机
clickhouse/hadoop.<系统域名> --password 8中获取的clickhouse.keytab路径 --port ClickHouse的端口号 系统域名:默认为hadoop.com。具体可登录集群FusionInsight Manager,单击“系统 > 权限 > 域和互信
为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 问题 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 回答 CarbonData块分布对于数据处理进行了如下优化: 优化数据处理并行度。 优化了读取块数据的并行性。
升级Master节点规格需要关机吗? 问: 在MRS集群中升级Master节点规格时需要手动关机吗? 答: 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。 MRS服务集群的Master节点规格
置安全通道是加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。 修改配置参数后需要重启对应服务以使配置生效。 该章节仅适用于MRS 3.x及之后版本。 表1 参数说明
在EIP管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 登录弹性云服务器。 登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。
V2接口功能更强大、操作更便捷,在接口功能相同的情况下,推荐您优先使用V2接口。 商用 创建集群 2 支持多种异构虚拟机规格 MRS集群支持x86/ARM混合部署,支持弹性云服务器(ECS)和裸金属服务器(BMS)混合部署 。 商用 自定义购买集群 2020年8月 序号 功能名称 功能描述 阶段 相关文档
MapReduce服务 MRS”,进入MRS现有集群列表。 单击需要查询的集群名称,单击“节点管理”,查询并记录需要查看费用账单的集群节点ID。 图1 查看集群节点ID 单击需要查询的节点名称,进入对应节点的弹性云服务器界面,在“云硬盘”界面中,单击系统盘和数据盘名称左侧的,查看并记录各云硬盘的“ID”值。
布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。 不需要完全拥有
布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。 不需要完全拥有