检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataNode概率性出现CPU占用接近100%导致节点丢失 问题背景与现象 DataNode概率性出现CPU占用接近100%，导致节点丢失（ssh连得很慢或者连不上）。 图1 DataNode出现CPU占用接近100% 原因分析 DataNode有许多写失败的日志。
配置MapReduce任务推测执行 操作场景 当集群规模很大时（如几百上千台节点的集群），个别节点出现软硬件故障的概率会增大，并且会因此延长整个任务的执行时间（运行完成的任务会等待异常设备运行完成）。推测执行通过将一个task分给多台机器运行，取首先运行完成的节点。
增大该参数值，可以防止出现双Active NameNode，降低客户端应用运行异常的概率。 单位：毫秒。
增大该参数值，可以防止出现双Active NameNode，降低客户端应用运行异常的概率。 单位：毫秒。
配置MapReduce任务推测执行 操作场景 当集群规模很大时（如几百上千台节点的集群），个别节点出现软硬件故障的概率会增大，并且会因此延长整个任务的执行时间（运行完成的任务会等待异常设备运行完成）。推测执行通过将一个task分给多台机器运行，取首先运行完成的节点。
它实际上不会存储每个元素出现的次数，它使用的是概率算法，通过存储元素的32位hash值的第一个1的位置，来计算元素数量。通常分为稀疏存储结构和密集存储结构两种。hll创建时是稀疏存储结构，当需要更高效处理时会转为密集型数据结构。
集群可通过自动重新运行受影响的查询或其组件任务来降低查询失败概率。可降低人工干预并提高了容错性，但会延长总执行时间。 当前支持如下两种容错执行机制： QUERY级重试策略：开启QUERY级别容错不会进行中间数据落盘，如果查询任务失败，将自动重试该查询任务的所有task。
“hbase.regionserver.wal.durable.sync” “hbase.regionserver.hfile.durable.sync” 当提升性能时，缺点是对于DataNode（默认是3个）同时故障时，存在小概率数据丢失的现象。
是否自动清除 45428 重要（默认级别） 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse读写数据异常，本地表的INSERT、SELECT和CREATE操作概率异常
hbase.wal.hsync hbase.hfile.hsync 当提升性能时，缺点是对于DataNode（默认是3个）同时故障时，存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。
通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。
通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示
Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算
原因分析 Spark AM退出时，因为服务配置参数“spark.streaming.stopGracefullyOnShutdown”默认为“false”，系统不会完全等待AM正常退出，所以概率性的会出现有时能正常退出，任务状态显示失败，有时异常退出，状态未来得及上报的情况。
这种情况为小概率事件且不影响Spark SQL对外展现的应用完成状态。也可以通过增大Yarn客户端连接次数和连接时长的方式减少此事件发生的概率。
这种情况为小概率事件且不影响Spark SQL对外展现的应用完成状态。也可以通过增大Yarn客户端连接次数和连接时长的方式减少此事件发生的概率。
结果中包含一行的概率与任何其他行无关。这不会减少从磁盘读取采样表所需的时间。如果进一步处理采样输出，则可能会影响总查询时间。
不建议对同一张表并发插入数据，因为有一定概率发生并发冲突，导致插入失败。 时间戳格式只支持yyyy-MM-dd hh:mm:ss。 示例 在opentsdb_table表中插入数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
