检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有FlinkServer管理操作权限的用户登录Manager，选择“集群 > 服务 > Flink”，单击“Flink WebUI”后的链接，单击“作业管理”，在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
告警是否清除。 是，结束。 否，执行3。 排查业务中是否写入过的单副本的文件。 是，执行4。 否，执行7。 以root用户登录HDFS客户端，用户密码为安装前用户自定义，请咨询MRS集群管理员。执行如下命令： 安全模式： cd 客户端安装目录 source bigdata_env
单击“Scheduler”，在“Application Queues”中查看root队列是否资源用满。 是，执行3。 否，执行4。 对Yarn服务的NodeManager实例进行扩容。扩容后，查看告警是否消除。 是，处理完毕。 否，执行6。 检查队列最大资源容量和AM最大资源百分比 查看pending任务对应的队列的资源是否用满。
以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit
以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以
槽上。 是，执行4。 否，执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点，检查“/etc/fstab”文件中是否包含“挂载目录名”的行，用户密码为安装前用户自定义，请咨询系统管理员。 是，执行6。 否，执行7。 执行vi /etc/fst
前集群未启用Kerberos认证，则无需执行此命令。 当用户为“人机”用户时：执行kinit opentsdbuser认证用户 当用户为“机机”用户时：下载用户认证凭据文件，保存并解压获取用户的user.keytab文件与krb5.conf文件，进入解压后的user.keytab目录下，执行kinit
阈值范围（85%），当检测到Hive数据仓库空间使用率超过阈值范围时产生该告警。 当Hive数据仓库空间使用率小于或等于阈值时，告警恢复。用户可通过增加仓库容量或释放部分已使用空间的方式降低仓库空间使用率。 告警属性 告警ID 告警级别 可自动清除 16001 严重 是 告警参数
Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息
PartitionName 产生告警的设备分区名。 对系统的影响 造成服务数据无法写入，业务系统运行不正常。 可能原因 硬盘存在坏道等故障。 处理步骤 登录MRS集群详情页面，选择“告警管理”。 在实时告警列表中，单击此告警所在行。 在“告警详情”区域，从“定位信息”中获取“HostName”
collect().foreach(println) spark.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致任务失败或者数据丢失。 可能原因 网络故障，导致数据无法发送。 处理步骤 以root用户登录故障节点所在主机，执行ping Doris所有节点的IP地址命令查看对端主机是否可以ping通。 是，执行4。 否，执行2。 联系网络管理员恢复网络。
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，在实时告警列表中，单击此告警前的，在“定位信息”中查看角色名并确定实例的IP地址。 选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“IoTDB”，单击“确定”。 在“主机”勾选1查看到的主机，单击“确定”。
基于某些业务要求，要求开发Spark应用程序实现如下功能： 根据用户名累计用户的历史消费金额，即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。 上例所示，运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 在开
use消费数据时出现异常，需要查看ClickHouse的日志。 登录MRS集群，进入ClickHouse实例所在的节点，查看“/var/log/Bigdata/clickhouse”目录下的“clickhouse-server.log”日志文件，发现以下报错： 进入到其他Clic
在ZooKeeper各个实例节点上执行id -Gn kafka命令，发现有一个节点无法查询用户组信息。 [root @bdpsit3ap03 ~]# id -Gn kafka id: kafka: No such user [root @bdpsit3ap03 ~]# MRS集群中的用户管理由L
具体如下图所示： 原因分析 用户未给Master节点绑定弹性公网IP，造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”，选中当前安装出问题的集群并单击集群名称，进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称，登录到弹性云服务器管理控制台。
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
b文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端，具体请参考安装MRS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
