检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可能导致任务堆积，无法及时处理。 可能原因 集群运算能力低于任务提交速率，导致任务提交后无法及时运行处理。 处理步骤 检查Yarn页面的内存和vcore使用情况。 查看Yarn原生页面的Memory Used|Memory Total和VCores Used|VCores Total，看是否已经到达或者接近最大值。
admin，设置其“主组”为supergroup，并绑定角色sparkrole取得权限，单击“确定”。 Spark Streaming程序使用的用户需要加kafkaadmin组权限，用来操作Kafka组件。 在MRS Manager界面选择“系统设置>用户管理”，在用户名中选择s
sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令： cd /opt/{MRS补丁版本号}/client
在弹性云服务器管理控制台，单击“开机”，将已更换磁盘的节点开机。 执行fdisk -l命令，查看新增磁盘。 使用cat /etc/fstab获取盘符。 图2 获取盘符 使用对应的盘符对新磁盘进行格式化。 例如：mkfs.ext4 /dev/sdh 执行如下命令挂载新磁盘。 mount
不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill
不存在该环境变量，则设置为spark.local.dir的值，若此配置还不存在，则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill
配置业务日志与TaskManager运行日志独立打印： 若配置业务日志与TaskManager运行日志分开打印后，业务日志不输出至taskmanager.log，无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”，在文件中添加如下日志配置信息，加粗标注部分根据需要进行修改。
jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。
配置业务日志与TaskManager运行日志独立打印： 若配置业务日志与TaskManager运行日志分开打印后，业务日志不输出至taskmanager.log，无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”，在文件中添加如下日志配置信息，加粗标注部分根据需要进行修改。
是否存在某种类型的任务的失败的次数有增长趋势 (BE)”。 单击“平滑次数”后的编辑按钮，基于实际使用情况，修改平滑次数配置项，单击“确定”。 单击“操作”列的“修改”，基于实际使用情况，更改告警阈值，单击“确定”。 等待两分钟，查看告警是否清除。 是，处理完毕。 否，执行5。 收集故障信息。
可能导致任务堆积，无法及时处理。 可能原因 集群运算能力低于任务提交速率，导致任务提交后无法及时运行处理。 处理步骤 检查Yarn页面的内存和vcore使用情况。 查看Yarn原生页面的Memory Used|Memory Total和VCores Used|VCores Total，看是否已经到达或者接近最大值。
以omm用户登录主OMS节点，执行以下命令重启knox进程。 sh /opt/knox/bin/restart-knox.sh 等待五分钟，查看是否可以正常访问组件WebUI页面。 是，处理完毕。 否，请联系运维人员进行处理。 父主题： 访问MRS组件Web UI界面常见异常问题
在每个节点下自动创建。 进入客户端路径，执行命令./bin/yarn-session.sh -n 3 -jm 2048 -tm 3072，可以看到yarn-session正常启动并且成功创建目录。 父主题： Flink应用开发常见问题
k集群时会在每个节点下自动创建。 进入客户端路径，执行命令./bin/yarn-session.sh -jm 2048 -tm 3072，可以看到yarn-session正常启动并且成功创建目录。 父主题： Flink应用开发常见问题
k集群时会在每个节点下自动创建。 进入客户端路径，执行命令./bin/yarn-session.sh -jm 2048 -tm 3072，可以看到yarn-session正常启动并且成功创建目录。 父主题： Flink应用开发常见问题
单点故障，从而建立可靠的应用程序。 KrbServer 密钥的管理中心，负责票据的分发。 Yarn 资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。 DBService 高可用性的关系型数据库存储系统，提供元数据的备份与恢复功能。 父主题： HetuEngine
具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令，查看新增磁盘分区信息。 图2 查看新增磁盘（分区） 使用df -TH获取文件系统类型。 图3 获取文件系统类型 使用对应的文件系统类型对新磁盘（分区）进行格式化。 例如：mkfs.ext4 /dev/sdd1 执行如下命令挂载新磁盘。
配置业务日志与TaskManager运行日志独立打印： 若配置业务日志与TaskManager运行日志分开打印后，业务日志不输出至taskmanager.log，无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”，在文件中添加如下日志配置信息，加粗标注部分根据需要进行修改。
jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。
easy_install命令，找到easy_install程序路径。如果有多个路径，使用easy_install --version确认选择setuptools对应版本的easy_install，如/usr/local/bin/easy_install 使用对应的easy_install命令，依次安装dependency_python3
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
