检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 Spark应用运行架构 操作流程 本实践基本操作流程如下所示： 步骤1：创建MRS集群：创建一个分析集群，版本号为MRS 3.1.0，不启用Kerberos认证。 步骤2：准备样例程序和数据：创建OBS并行文件系统，并将Spark2x样例程序和样例数据上传到OBS并行文件系统中。
在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题： MRS集群告警处理参考
KrbServer组件故障。 ZooKeeper组件故障或无响应。 Kafka集群中Broker节点异常。 处理步骤 检查KrbServer组件状态。未启用Kerberos认证的集群无需检查Kerberos状态，请直接执行2。 登录MRS集群详情页面，选择“组件管理”。 查看KrbServer服务的健康状态是否为“良好”。
s://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ IDEA开发工具为例，单击“File > Settings
假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态，相关业务场景介绍请参见Flink开启Checkpoint样例程序。 FlinkCheckpointScalaExample FlinkKafkaJavaExample 向Ka
假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态，相关业务场景介绍请参见Flink开启Checkpoint样例程序。 FlinkCheckpointScalaExample FlinkKafkaJavaExample 向Ka
区的大小。如果采用随机查询使得缓存区的命中率较低，可以适当降低缓存区大小。 当offheap关闭时，默认值为“0.25”。当offheap开启时，默认值是“0.1”。 如果同时存在读和写的操作，这两种操作的性能会互相影响。如果写入导致的flush和compaction操作频繁发生
enableIndices(TableName tableName,List <String> list) 参数：TableName 用户希望启用指定索引的表的名称 参数：List <String> 包含要启用的索引名称的列表 返回类型：void listIndices(TableName tableName) 参数：TableName
disk-health-checker.log-dirs.max-disk-utilization-per-disk-percentage”）。 只有启用了周期性收集日志功能的应用才会在日志目录磁盘配额超过设定阈值时被触发启动日志收集。 25 yarn.nodemanager.remote-app-log-dir-suffix
/opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令认证当前用户（首次认证需要修改密码，未启用Kerberos认证集群跳过此步骤）。 kinit clickhouseuser 执行ClickHouse组件的客户端命令登录客户端。 clickhouse
以客户端安装用户登录安装了HDFS客户端的节点，并执行以下命令： cd 客户端安装目录 source bigdata_env kinit 组件业务用户（若集群未启用Kerberos认证（普通模式），请跳过该操作） 执行以下命令查看损坏的WAL文件，并执行4。 hdfs dfs -ls hdfs://h
Kerberos组件故障 ZooKeeper组件故障或假死 Storm集群中主备Nimbus状态异常 处理步骤 检查Kerberos组件状态。未启用Kerberos认证的集群无需检查Kerberos状态，请执行2。 登录MRS集群详情页面，选择“组件管理”。 查看Kerberos服务的健康状态是否为“良好”。
t”。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，需先配置客户端认证，可参考5。如果当前集群未启用Kerberos认证，则无需执行该步骤。 参考表1运行相关命令。 表1 Flink Shell命令参考 命令
t”。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，需先配置客户端认证，可参考5。如果当前集群未启用Kerberos认证，则无需执行该步骤。 参考表1运行相关命令。 表1 Flink Shell命令参考 命令
-MEASURES [可选]：指定匹配成功的事件的属性值。 -ONE ROW PER MATCH | ALL ROWS PER MATCH [可选]：定义如何输出结果。ONE ROW PER MATCH表示每次匹配只输出一行，ALL ROWS PER MATCH表示每次匹配的每一个事件输出一行。
ALM-14002 DataNode磁盘空间使用率超过阈值 告警解释 系统每30秒周期性检测DataNode磁盘空间使用率，并把实际磁盘使用率和阈值相比较。DataNode磁盘空间使用率指标默认提供一个阈值范围。当检测到DataNode磁盘空间使用率指标超出阈值范围时产生该告警。
“服务”选择服务，“主机”填写服务所部署主机的IP，“开始时间”与“结束时间”选择对应的开始与结束时间。 在“导出类型”选择一个日志保存的位置。只有启用了Kerberos认证的集群支持选择。 “下载到本地”：表示将日志保存到用户当前的本地环境。然后执行8。 “上传到OBS”：表示将日志保存到OBS中。默认值。然后执行5。
CDL CDL简介 CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。
shuffle.service.enabled NodeManager中一个长期运行的辅助服务，用于提升Shuffle计算性能。默认为false，表示不启用该功能。 spark.shuffle.service.port Shuffle服务监听数据获取请求的端口。可选配置，默认值为“7337”。
Master节点，执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 （若集群已启用Kerberos认证（安全模式）需执行该命令） mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
