检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导致请求响应减慢、业务延迟。 业务失败:主机网络读包错误率超过阈值时,请求无法正常响应、超时,可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 网络环境质量差。 处理步骤 检查阈值设置是否合理。 在FusionInsight Manager,选择“运维 > 告警 > 阈值设置
处于隔离状态的磁盘或者节点不能及时恢复,可能会对大数据组件运行产生影响,进而影响用户业务使用。 可能原因 磁盘或者节点隔离状态超过慢盘处理超时配置时间。 处理步骤 检查慢盘处理超时原因。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在告警列表中
> Doris > 队列 > 当前查询执行线程池等待队列的长度 (BE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,根据实际使用情况,更改告警阈值,单击“确定”。 等待十分钟,查看告警是否清除。 是,处理完毕。
> Doris > 队列 > 当前查询执行线程池等待队列的长度 (BE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,根据实际使用情况,更改告警阈值,单击“确定”。 等待十分钟,查看告警是否自动恢复。 是,处理完毕。
ZooKeeper的端口,通常保持默认,根据实际使用情况修改。 zk.quorum:为访问ZooKeeper quorumpeer的地址,请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZ
ZooKeeper的端口,通常保持默认,根据实际使用情况修改。 zk.quorum:为访问ZooKeeper quorumpeer的地址,请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZ
参数解释: 作业执行进度。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求示例 查询作业exe对象列表请求示例 GET https://{endpoint}/v1.1/{project_id}/job-exes?page_size=10¤t_page=1
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample Windows样例程序运行结果如下所示。
[-metadata] [-help] list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation 客户端shell命令 操作 命令 描述
Payload及EmptyHoodieRecordPayload。 useCache 是否在Spark中缓存表的relation,无需用户配置。为支持SparkSQL中对COW表增量视图查询,默认将COW表中该值置为false。 示例 创建非分区表 create table if
导致请求响应减慢、业务延迟。 业务失败:主机网络写包丢包率超过阈值时,请求无法正常响应、超时,可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 网络环境质量差。 处理步骤 检查阈值设置是否合理。 在FusionInsight Manager,选择“运维 > 告警 > 阈值设置
[-metadata] [-help] list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation 客户端shell命令 操作 命令 描述
[-metadata] [-help] list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation 客户端shell命令 操作 命令 描述
[-metadata] [-help] list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation 客户端shell命令 操作 命令 描述
响应减慢,导致客户业务延迟。 业务失败:主机网络写包错误率超过阈值时,请求无法正常响应、超时,可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 网络环境质量差。 处理步骤 检查阈值设置是否合理。 在FusionInsight Manager,选择“运维 > 告警 > 阈值设置
xml”文件中“hive.server2.async.exec.threads”数量,适当增大该数值(如:增大原数值的20%)。 保存更新配置。 查看本告警是否恢复。 是,操作结束。 否,执行9。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志
“下载”。 在FusionInsight Manager首页,选择“集群 > 服务 > Hive > 更多 > 采集堆栈”,在采集堆栈界面配置以下参数: 需要采集的角色勾选“HiveServer”。 选择采集的内容勾选“jstack”和“使能jstack和jmap -histo连续采集”。
tablename命令查询时,不会显示被删除的Segment的内容。 下一次加载数据且达到最大查询执行时间(由“max.query.execution.time”配置,默认为“60分钟”)后,Segment才会从文件系统中真正删除。 如果用户想要强制删除物理Segment文件,那么可以使用CLEAN FILES命令。
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object kafkaSessionization { def main(args: Array[String]):
下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类: //创建一个配置类SparkConf,然后创建一个SparkContext SparkSession spark = SparkSession