检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS”修改阈值。 当HDFS DataNode非堆内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14019 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
eToKillInSeconds="${tgt.timeToKillInSeconds:1200}"中的1200为对应的超时时长，值的单位是秒。 在主Master节点重启tomcat服务。 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep
用于初始任务分配节点时的内存需求估计。值越大表明每个TASK预估使用的内存更大，但会导致集群并发能力变小，可根据实际业务情况动态调整。 添加完成后将“立即启动”置为“是”，单击“确定”。 启用TASK容错模式后，会产生中间数据并缓存到文件系统中，过大的查询并发会对文件系统产生较大的磁盘压力。当前HetuEn
结果。需要指定class、master、jar包以及入参。 示例：执行jar包中的GroupByTest例子，入参为4个，指定集群运行模式是local单核运行。 ./bin/spark-submit --class org.apache.spark.examples.GroupByTest
ntPort”的值。默认为24002。 从6和7回显中获取分区的分布信息和节点信息，在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例，迁移到"/srv/BigData/hadoop/data1/kafka-logs”，完成迁移所需的json配置文件，内容如下。
告警恢复；平滑次数大于1，CPU使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12016 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
当磁盘IO读取等待时长小于或等于阈值时，告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除 12204 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
阈值（最大内存的95%）时产生该告警。 堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 13004 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
topic中每个partition数据的副本数。 {Topic} Topic名称。 示例：在Kafka的客户端路径下执行命令，此处以ZooKeeper集群的IP:port是10.96.101.32:2181,10.96.101.251:2181,10.96.101.177:2181,10.91.8.160:21
并妥善保存。 执行以下命令 ，查看被锁用户数据密码错误次数“Failed password attempts”参数值是否大于或等于5，如果是，则证明账户被锁。 getprinc 被锁用户名 如果账户被锁，执行以下命令解锁用户后，重新登录Manager。 modprinc -unlock
告警 > 告警”，选中“告警ID”为“19007”的告警，查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster，执行2。 告警上报的角色是RegionServer，执行3。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称
sha512sum：生成sha512校验值。 类型：表达式输出结果类型，建议选择“VARCHAR”。 时间格式：表达式输出结果格式。 长度：表达式输出结果长度。 map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子，生成两个字段A和B。
sha512sum：生成sha512校验值。 类型：表达式输出结果类型，建议选择“VARCHAR”。 时间格式：表达式输出结果格式。 长度：表达式输出结果长度。 map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子，生成两个字段A和B。
比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因），则告警恢复。 告警属性 告警ID 告警级别 可自动清除 12015 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。
阈值时产生该告警。当IoTDBServer进程RPC低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 45592 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
locality.wait.rack 3s 0s 优化shuffle并行度，提升Spark加工效率 所谓的shuffle并发度如下图所示： 集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和drive
password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT（可不配置）/SASL_P
当检测到空间内合并时长超出阈值时产生该告警。当空间内合并时长低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 45594 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
Spark SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
