检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
on hdfs match.”。 已上传的自定义Jar包 如果检测到已上传的自定义Jar包，将输出“Extra Share Lib jar file(s) found on hdfs:”以及自定义Jar包信息。 如果未检测到自定义Jar包，将输出“No extra Share Lib
Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递
MRS的Manager界面提供集群级别的监控能力，帮助用户监控集群中大数据组件和节点的健康状态，同时提供告警通知能力，用户可以实时掌握MRS集群的各项指标、健康度。 MRS支持将集群中所有部署角色的节点，按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中
生过多的存储文件（夹）导致频繁切换IO降低系统速度（并且会占用大量内存且出现频繁的内存-文件切换），也不会因为过少的存储文件夹（降低了并发度从而）导致写入命令阻塞。 应根据自己的数据规模和使用场景，平衡存储文件的存储组设置，以达到更好的系统性能。 所有的时间序列必须以root开始、以传感器作为结尾。
每个Task的执行时间要合理 操作步骤 原则一：充分利用集群资源。 Job运行时，会让所有的节点都有任务处理，且处于繁忙状态，这样才能保证资源充分利用，任务的并发度达到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。 reduce个数的控制使用“mapreduce.job.reduces”。
每个Task的执行时间要合理 操作步骤 原则一：充分利用集群资源。 Job运行时，会让所有的节点都有任务处理，且处于繁忙状态，这样才能保证资源充分利用，任务的并发度达到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。 reduce个数的控制使用“mapreduce.job.reduces”。
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题： 产品功能
96);-- 0.6244717358814612 cosine_similarity(x, y) → double 返回稀疏向量x和y之间的余弦相似度。 SELECT cosine_similarity (MAP(ARRAY['a'],ARRAY[1.0]),MAP(ARRAY['a']
0，iops = 0或带宽 = 0，且ioutil > 99%。 系统默认每3秒采集一次数据，在300秒内至少50%次检测到的svctm时延达到500ms。 系统采集周期为3秒，检测周期为30秒或300秒，当系统连续3个30秒、300秒的周期均不满足对应条件时，告警自动清除。 相关参数获取方法请参考参考信息。
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 配置Yarn大作业扫描 父主题： 使用Yarn
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 父主题： 使用Yarn
0，iops = 0或带宽 = 0，且ioutil > 99%。 系统默认每3秒采集一次数据，在300秒内至少50%次检测到的svctm时延达到500ms。 系统采集周期为3秒，检测周期为30秒或300秒，当系统连续3个30秒、300秒的周期均不满足对应条件时，告警自动清除。 MRS 3.3
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志，无
该节点会变成隔离状态，客户无需特殊操作，MRS运维相关人员会及时介入处理并恢复。 支持HDFS单副本检测能力。 MRS 3.1.5.0.1及之后的补丁中，会增加HDFS单副本检测和告警能力，新增是否允许写入单副本数据配置项dfs.single.replication.enable
出JDBCServer进程目前的承受范围。 告警属性 告警ID 告警级别 是否可自动清除 43028 重要（默认连续3次检测超过9次） 紧急（默认连续3次检测超过12次） 否 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名
在以上场景中，为使HMaster更早完成恢复任务，建议增加以下配置参数，否则Master将退出导致整个恢复进程被更大程度地延迟。 增加namespace表在线等待超时周期，保证Master有足够的时间协调RegionServer workers split任务，避免一次次重复相同的任务。 “hbase
applicationID命令后Spark只会停掉任务对应的SparkContext，而不是退出当前进程。如果当前进程中存在其他常驻的线程（类似spark-shell需要不断检测命令输入，Spark Streaming不断在从数据源读取数据），SparkContext被停止并不会终止整个进程。 如果需要退出Driver进程，建议使用kill
always-create-directory 当文件写入程序的并行度大于1时，输出文件的路径下会创建一个目录，并将不同的结果文件（每个并行写程序任务）放入该目录。 设置为true，那么并行度为1的写入程序也将创建一个目录并将一个结果文件放入其中。 设置为false，则并行度为1的写入程序将直接在输出路径中创建文件，而不再创建目录。
设备 设备指的是在实际场景中拥有传感器的装置。在IoTDB当中，所有的传感器都应有其对应的归属的设备。 传感器 传感器是指在实际场景中的一种检测装置，它能感受到被测量的信息，并能将感受到的信息按一定规律变换成为电信号或其他所需形式的信息输出并发送给IoTDB。在IoTDB当中，存储
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
