检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处于隔离状态的磁盘或者节点不能及时恢复,可能会对大数据组件运行产生影响,进而影响用户业务使用。 可能原因 磁盘或者节点隔离状态超过慢盘处理超时配置时间。 处理步骤 检查慢盘处理超时原因。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在告警列表中
> Doris > 队列 > 当前查询执行线程池等待队列的长度 (BE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,根据实际使用情况,更改告警阈值,单击“确定”。 等待十分钟,查看告警是否清除。 是,处理完毕。
AZ构建高可用性系统的需求。 图1表示区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就
/hdfs dfs -mkdir /tmp/input 执行如下命令查询HDFS命令的帮助。 ./hdfs --help HDFS命令行参考请参见官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell
/hdfs dfs -mkdir /tmp/input 执行如下命令查询HDFS命令的帮助。 ./hdfs --help HDFS命令行参考请参见官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell
/hdfs dfs -mkdir /tmp/input 执行如下命令查询HDFS命令的帮助。 ./hdfs --help HDFS命令行参考请参见官网: http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/FileSystemShell
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机网络写包错误率
xml”文件中“hive.server2.async.exec.threads”数量,适当增大该数值(如:增大原数值的20%)。 保存更新配置。 查看本告警是否恢复。 是,操作结束。 否,执行9。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志
“下载”。 在FusionInsight Manager首页,选择“集群 > 服务 > Hive > 更多 > 采集堆栈”,在采集堆栈界面配置以下参数: 需要采集的角色勾选“HiveServer”。 选择采集的内容勾选“jstack”和“使能jstack和jmap -histo连续采集”。
username"="hdfs", "broker.password"="" ); 导出到本地文件 导出到本地文件时需要先在“fe.conf”中配置enable_outfile_to_local=true。 select * from tbl1 limit 10 INTO OUTFILE
strings 参数解释: 角色部署信息。可以指定节点组中部署的角色,该参数是一个字符串数组,每个字符串表示一个角色表达式。 角色表达式定义: 当该角色在节点组所有节点部署时: {role name},如“DataNode”。 当该角色在节点组指定下标节点部署时:{role name}:{index1}
main()'”运行应用工程。 在HDFS任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 在运行Colocation工程时,HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample Windows样例程序运行结果如下所示。
可消耗数值型资源属性,当前resource pool中总资源的属性,该属性的值以数字表示。 configuration object 配置目标。 resources array 所配置的资源名称pattern数组。 resource String 资源名称模式。 resource_select String
可消耗数值型资源属性,当前resource pool中总资源的属性,该属性的值以数字表示。 configuration object 配置目标。 resources array 所配置的资源名称pattern数组。 resource String 资源名称模式。 resource_select String
onnection refused则表示失败,无法连接到相关端口。 如果相关端口打开,但是从别的节点无法连通到该端口,则需要排查下相关网络配置。 23662这个端口每次都是随机的,所以要根据自己启动任务打开的端口来测试。 父主题: 使用Spark
[10-20,30-40]。 说明: 如不指定,默认选择所有主机。 一次性输入最多10个表达式。 所有表达式一次性最多匹配2000个主机。 高级配置 最大数量:一次性显示的最大日志条数,如果检索到的日志数量超过设定值,时间较早的将被忽略。不配表示不限制。 检索超时:用于限制每个节点上的
Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢,严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 Guardian TokenServer实例设置的内存太小,频繁Full GC造成JVM卡顿。 处理步骤 检查告警阈值设置是否合理。
tablename命令查询时,不会显示被删除的Segment的内容。 下一次加载数据且达到最大查询执行时间(由“max.query.execution.time”配置,默认为“60分钟”)后,Segment才会从文件系统中真正删除。 如果用户想要强制删除物理Segment文件,那么可以使用CLEAN FILES命令。
tablename命令查询时,不会显示被删除的Segment的内容。 下一次加载数据且达到最大查询执行时间(由“max.query.execution.time”配置,默认为“60分钟”)后,Segment才会从文件系统中真正删除。 如果用户想要强制删除物理Segment文件,那么可以使用CLEAN FILES命令。
功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类: //创建一个配置类SparkConf,然后创建一个SparkContext