检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Shard内数据副本高可靠存储 数据写入单shard中的一个副本后,ClickHouse会自动异步将数据同步到其他副本,如图1中的shard-3。
MapReduce起到了将大事务分散到不同设备处理的能力,这样原来必须用单台较强服务器才能运行的任务,在分布式环境下也能完成。 更多信息,请参阅MapReduce教程。
对系统的影响 转换前,需要修改TimelineServer的服务端参数“TLS_FLOAT_IP”为一个可用的浮动IP(单实例时该配置默认使用节点业务IP)。 转换过程中,依赖TimelineServer角色会出现配置过期,需要重启配置过期的实例。
安装完成后必须的手动操作 支持HDFS单副本检测能力 MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项dfs.single.replication.enable,对于新建集群该值配置为false,因为HDFS单副本并不属于
禁止使用Doris的Routine Load进行导入数据操作,推荐使用Flink查询Kafka数据再写入Doris,更容易控制导入数据单批次数据量,避免大量小文件产生。
写入速率 单节点写入速度为50~200MB/S,如果写入的数据每行为1Kb,那么写入的速度为50,000到200,000行每秒,如果行数据容量更小,那么写入速度将更高,如果写入性能不够,可以使用多个副本同时写入,同一时间每个副本写入的数据保持均衡。
高可用,单实例级别异常不影响集群可用性。 MemArtsCC结构 MemArtsCC由CCSideCar和CCWorker两个角色组成。 在存算架构下,Spark、Hive等计算分析应用的数据存储在对象存储服务(OBS)中。
Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS NameNode启动失败 ntpdate修改时间导致HDFS出现大量丢块 DataNode概率性出现CPU占用接近100%导致节点丢失 单NameNode
单NameNode情况下,客户端将无法读取或写入任何数据到 HDFS,当前MRS部署HDFS时要求NameNode部署双机模式,不存在单实例场景。 Router:如果一个Router实例故障,客户端将无法访问该Router上的数据。
图1 执行语句 Hue上执行HetuEngine语句一次只支持单条语句执行。 Hue上执行HetuEngine默认使用catalog=hive,schema=default。如果需要切换可使用SQL语法use <catalog>.<schema>进行切换。
重启Broker实例期间,若当前Topic为单副本且在当前Broker节点上,则会导致Kafka业务中断,否则无影响。 等待Broker启动完成之后,观察界面告警是否清除。 是,处理完毕。 否,执行8。 收集故障信息。
解决ResourceManager内存泄漏,开源单YARN-11489。 解决Yarn精细化监控部分指标没有数据的问题。
SQL语句必须为单条语句,注意其中不能包含“;”。
重启Broker实例期间,若当前Topic为单副本且在当前Broker节点上,则会导致Kafka业务中断,否则无影响。 是,执行11。 否,执行13。 选择“集群 > 待操作集群的名称 > 服务 > Kafka”,查看运行状态是否为“良好”。 是,执行12。 否,执行13。
SQL语句必须为单条语句,注意其中不能包含“;”。
SQL语句必须为单条语句,注意其中不能包含“;”。
OBS存储开启本地缓存 OBS数据存储场景可根据业务需求配置本地缓存,提升读取速率,配置单盘100GB本地缓存示例:—data_cache=/srv/BigData/data1/impala:100GB HDFS存储开启短路读 HDFS存储场景下可开启短路读,提升读取速率,具体请参考
MRS支持自研超级调度器Superior Scheduler,突破单集群规模瓶颈,单集群调度能力超10000节点。
vim 客户单安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml 在hdfs-site.xml文件中增加如下内容。
设置参数值建议为偶数2或4(最大值不要超过单节点CPU核数的一半)。 设置此参数值时需要观察CPU使用率,CPU使用率小于50%时方可考虑设置。 如果查询SQL是insert into select大数据量的方式,不建议设置此参数。 父主题: Doris应用开发规范