检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45636 Flink作业连续checkpoint失败次数超阈值 本章节仅适用于MRS 3.3.1及以后版本。 告警解释 系统以用户配置的告警周期检查CheckPoint连续失败次数,如果FlinkServer作业CheckPoint连续失败次数达到用户配置的阈值,则发送
精确一次:数据成功传递,不丢失,不冗余处理。此情况下,性能最差。 可靠性不同级别的选择,需要根据业务对可靠性的要求来选择、设计。例如对于一些对数据丢失不敏感的业务,可以在业务中不考虑数据丢失处理从而提高系统性能;而对于一些严格要求数据可靠性的业务,则需要使用精确一次的可靠性方案,以确保数据被处理且仅被处理一次。
返回DataFrame中的前n行。 表7 基本的DataFrame Functions 方法 说明 explain(): Unit 打印出SQL语句的逻辑计划和物理计划。 printSchema(): Unit 打印schema信息到控制台。 registerTempTable(tableName: String):
基本的DataFrame Functions介绍 方法 说明 void explain(boolean extended) 打印出SQL语句的逻辑计划和物理计划。 void printSchema() 打印schema信息到控制台。 registerTempTable 将DataFrame注册
返回DataFrame中的前n行。 表7 基本的DataFrame Functions 方法 说明 explain(): Unit 打印出SQL语句的逻辑计划和物理计划。 printSchema(): Unit 打印schema信息到控制台。 registerTempTable(tableName: String):
若未同步IAM用户,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 保存配置后,选择在业务低峰期进行重启或滚动重启HBase服务使配置生效。 观察界面告警是否清除。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置
<k2,List(v2)> —> reduce —> <k3,v3>(output) 业务核心 应用程序通常只需要分别继承Mapper类和Reducer类,并重写其map和reduce方法来实现业务逻辑,它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能导致上层服务无法连接DBService的数据库,影响正常业务。 可能原因 数据库连接数使用过多。 数据库连接数最大值设置不合理。 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查数据连接数是否使用过多
NetworkCardName 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 通信闪断,业务超时。 可能原因 告警阈值配置不合理。 网络环境异常。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认0
在本地Windows环境中调测HBase应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发MapReduce应用程序实现如下功能。 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
开发环境:Windows系统,推荐Windows 7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。 对于客户
开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
在本地Windows环境中调测Hive JDBC样例程序 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要
Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。解决方法是修改业务逻辑,单线程插入数据到同一张表或同一个分区。 父主题: Hive常见问题
为冻结表。将被冻结的数据重新移回原元数据表中,这一过程称为分区数据解冻。 一个分区从热分区变成冷分区,仅仅是在元数据中进行标识,其HDFS业务侧分区路径、数据文件内容并未发生变化。 冻结分区数据 支持创建表的用户按照条件过滤的方式对一个或多个分区进行冻结,命令为: freeze partitions
可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。 隔离MRS集群节点对系统的影响 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。
行的入口点。 -p,--parallelism <parallelism>:指定程序运行的并行度。 -h:获取帮助。 显示所运行程序的执行计划(JSON) flink list -a,--all:显示所有的Job。 -m,--jobmanager <host:port>:指定JobManager。
并保存配置。 “-Xmx”的值默认2G。 如果该告警偶然发生,参数值按照0.5倍速率调大。如果该告警频繁发生,参数值按照1倍速率调大。 多业务量、高并发的情况可以考虑扩容实例。 选择“概览 > 重启服务”,重启IoTDB服务使配置生效。 在IoTDB服务重启期间,读写请求任务会中断。
明进行调大。 “-Xmx”的值默认2G。 如果该告警偶然发生,参数值按照0.5倍速率调大。如果该告警频繁发生,参数值按照1倍速率调大。 多业务量、高并发的情况可以考虑扩容实例。 观察界面告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维