检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
某些Partition的副本下线。 处理步骤 检查Broker实例。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,进入Kafka实例页面。 查看所有Broker实例中是否有故障的节点。 是,记录当前节点主机名,并执行3。
告警”,选中“告警ID”为“45337”的告警,查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”,单击告警上报的Worker3,进入“实例状态”页面,单击图表区域右上角的下拉菜单,选择“定制
滚动重启ZooKeeper服务请在ClickHouse业务空闲或低峰期进行操作。 请等待两小时后查看告警是否恢复。 是,操作结束。 否,执行3。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机,单击“确定”。
个字符。 默认取值: 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 path 是 String 参数解释: 文件目录。比如访问“/tmp/test”目录列表,此处必须是目录,整体URI为/v2/{project_id}/clusters/{cluster_id}/files
Flink开启Checkpoint样例程序开发思路 场景说明 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组
Flink开启Checkpoint样例程序开发思路 场景说明 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组
Flink开启Checkpoint样例程序开发思路 场景说明 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组
Linux中安装客户端时提交Storm拓扑 操作场景 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
在Linux环境中调测Storm应用 操作场景 Storm应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在
frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
SQL和DataFrame调优 Spark SQL join优化 INSERT...SELECT操作调优 父主题: Spark应用调优
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.1.0.0.16补丁说明
回滚补丁 回滚补丁前检查 回滚补丁 卸载补丁后操作 父主题: MRS 3.1.0 运维通道补丁说明
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.3.1-LTS.1.2补丁说明
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca
在Manager告警列表中,单击该告警“操作”列下面的“清除”,手动清除告警。然后选择“集群 > 服务 > HDFS > 实例”勾选该DataNode,选择“更多 > 重启实例”,等待5分钟,查看是否有新的告警上报。 重启期间服务业务可能受损或中断,建议选择业务低峰期操作。 否,处理完毕。 是,执行8。