检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ter节点承担的管理负荷也越来越高,企业用户面临CPU负载过高,内存使用率超过阈值的问题。通常自建大数据集群需要完成数据搬迁,采购升级节点硬件配置实现Master规格提升,而MRS服务借助云服务的优势,实现一键式Master节点升级,并在升级过程中通过Master节点的主备HA保
滑次数配置项。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > CPU > CPU使用率 > CPU使用率”中更改告警阈值。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > CPU > CPU使用率 > CPU使用率”中更改告警的“平滑次数”选项。
适应网络变化:在网络条件不稳定或部分节点出现性能问题时,提高客户端的读取效率。 对系统的影响 多路读会增加网络流量和CPU使用率,由于需要处理更多的连接和请求,需要根据现网硬件及作业情况实际调整。例如:默认三副本的情况下启用多路读,组件内存至少需要设置为已有的三倍。 磁盘IO负载高的情况下(业务高峰期磁盘整体IO
values) 插入一个Record,一个Record是一个设备一个时间戳下多个测点的数据。服务器需要做类型推断,可能会有额外耗时。 void insertTablet(Tablet tablet) 插入一个Tablet,Tablet是一个设备若干行非空数据块,每一行的列都相同。 void
Manager首页,选择“运维 > 告警 > 告警”查看是否存在告警“ALM-12014 设备分区丢失”或“ALM-12033 慢盘故障”。 是,执行2。 否,执行4。 参考ALM-12014 设备分区丢失或ALM-12033 慢盘故障告警进行处理,查看对应告警是否清除。 是,执行3。
如果挂载目录权限为000,或者属主为root,则表示当前状态为不可读不可写。 修改目录权限为合适的目录权限。 等待一小时,查看告警是否恢复。 是,操作结束。 否,执行6。 联系硬件工程师,修复磁盘故障。 等待一小时,查看告警是否恢复。 是,操作结束。 否,执行8。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Manager首页,选择“运维 > 告警 > 告警”,查看是否存在告警“ALM-12014 设备分区丢失”或“ALM-12033 慢盘故障”。 是,执行2。 否,执行4。 参考ALM-12014 设备分区丢失或ALM-12033 慢盘故障告警进行处理,查看对应告警是否清除。 是,执行3。
份任务将OMS、DBService和NameNode等的数据保存到外部集群。 集群数据的备份任务运行时长可根据要备份的数据量除以集群与备份设备之间的网络带宽来计算得出,在实际场景中,建议将计算得出的时长乘以1.5作为任务执行时长参考值。 执行数据备份任务会对集群的最大IO性能产生
values) 插入一个Record,一个Record是一个设备一个时间戳下多个测点的数据。服务器需要做类型推断,可能会有额外耗时。 void insertTablet(Tablet tablet) 插入一个Tablet,Tablet是一个设备若干行非空数据块,每一行的列都相同。 void
多个服务在使用同一个CPU核发生争抢时的时间占比。 单击“根据权重配置生成详细配置”,FusionInsight Manager将根据集群硬件资源与分配情况,生成资源池实际参数配置值。 单击“确定”。 在弹出窗口单击“确定”,确认保存配置。 添加自定义资源配置组 是否需要在不同时间段自动调整资源配置?
MRS集群中的弹性伸缩功能如何收费? 问: MRS集群中的弹性伸缩功能如何收费? 答: 在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,产品报价不会产生收费。如果客户配置了实例数量,产品报价会在浏览器下方即时显示出来。 如果在集群使用时,配置的弹性伸缩
Manager,修改该用户的初始密码。 步骤3:导入CSV文件数据到IoTDB表中 按单设备时间有序地导入单文件多设备多测点数据,数据中存在空值 在本地准备CSV文件,例如文件名为“y1.csv”,文件中只包含一个设备的所有数据,且数据中存在空值,内容如下: Time,root.y1.r1.s1
图1展示了使用IoTDB套件的全部组件形成的整体应用架构,IoTDB特指其中的时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地
恢复流程等操作。 SDK 软件开发工具包SDK(SoftwareDevelopmentKit)是被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。 Database pg数据库。 WebApp(Oozie) WebApp(Oozie)即Oozie
restart策略。 如果用户在作业失败后,希望对作业进行重试,推荐使用failure-rate策略。因为fixed-delay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数,从而导致作业失败。 为了防止在failure-rate策略下的无限重启,推荐如下参数配置: restart-strategy:
数据文件。 容量规格 ConfigNode容量规格 当创建新的存储组时,IoTDB默认为该存储组分配10000个槽位,数据写入时根据写入的设备名和时间值,分配或创建一个data region并挂载在某个槽位上。所以ConfigNode的内存容量占用跟存储组个数和该存储组持续写入的时间相关。
素对应一个键/值对。Reduce函数接受Map函数生成的列表,然后根据它们的键缩小键/值对列表。MapReduce起到了将大事务分散到不同设备处理的能力,这样原来必须用单台较强服务器才能运行的任务,在分布式环境下也能完成。 更多信息,请参阅MapReduce教程。 MapReduce结构
HDFS文件系统上。 HDFS和MapReduce的关系 HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。 而MapReduce是一种编程模型,用于大数据集(大于1TB)的并行运算。在MapR
例如,集群中有40个以上的节点,根据各节点的硬件和网络配置,分别用Normal、HighCPU、HighMEM、HighIO为四类节点创建标签,添加到四个资源池中,资源池中的各节点性能如表3所示。 表3 不同资源池中的各节点性能 标签名 节点数 硬件和网络配置 添加到 关联 Normal
修改parts_to_throw_insert值 增大Too many parts的触发阈值,除非特殊场景,不建议修改此配置。此配置在一定程度起到潜在问题预警的作用,如果集群硬件资源不足,此配置调整不合理,会导致服务潜在问题不能及时被发现,可能进一步引起其他故障,恢复难度增加。 MRS 3.2.0之前版本:登录FusionInsight