检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,还可以在应用代码中动态指定,会覆盖全局配置,重启策略包括失败率(failure-rate)和两种默认策略
根据实际进程连接数情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
请先排查应用程序是否存在内存泄露等问题。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”。将“GC_OPTS”参数值根据实际情况调大。
“OutOfMemoryError” 输入文件数超出设置限制导致任务执行失败 Hive任务执行中报栈内存溢出导致任务执行失败 对同一张表或分区并发写数据导致任务失败 Hive任务失败,报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败
可能的选项是[gzip | snappy | uncompressed | lzo] snappy hoodie.logfile.max.size LogFile的最大值。这是在将日志文件移到下一个版本之前允许的最大值。
根据实际请求数情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
停止依赖集群运行的上层业务应用。 更新MRS集群密钥(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“集群 > 停止”(MRS 3.3.0及之后版本,在主页右上角选择“更多 > 停止”),输入当前登录的用户密码确认身份。
然而,随着技术的发展,Hadoop逐渐被用于以随机I/O访问模式的操作为主的上层应用上,如Hive、HBase等,而这种时延要求较高的场景中,低时延的高速磁盘(如SSD磁盘)可以得到广泛的应用。
解决Flink append mode丢失数据问题。 历史数据默认保存30天超期后未清理的问题。 解决调整时区为UTC后Manager页面实时监控数据为空的问题。 解决Manager页面租户资源下的全局用户策略内容不分页的问题。
/sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证: .
/sqoop2-shell 上述命令通过读取配置文件获取认证信息。 也可以直接通过密码或者Kerberos认证。 使用密码进行认证: .
加载客户端环境变量且对应用户登录成功后,该用户可以在任意storm客户端下执行storm命令来提交拓扑任务,但提交拓扑命令执行完成后,提交成功的拓扑仍然在用户所对应的Storm集群中,不会出现在其他Storm集群中。
并行文件系统名称/hadoop1/teragen1 /tmp OBS文件系统打印大量日志可能导致读写性能受影响,可通过调整OBS客户端日志级别优化,日志调整方式如下: cd 客户端安装目录/Yarn/config vi log4j.properties 在文件中添加OBS日志级别配置(应用若使用自带的
配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 场景 描述 默认值 spark.sql.tungsten.enabled / 类型为Boolean。
根据实际CPU使用情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行4。 检查CPU使用率是否达到上限。
配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 描述 默认值 spark.sql.tungsten.enabled 类型为Boolean。
对系统的影响 元数据恢复前,需要停止HBase服务,在这期间所有上层应用都会受到影响,无法正常工作。 元数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后,需要重新启动HBase的上层应用。
-append 当同时使用-update选项时,追加源位置的文件内容到目标位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。 -filters 指定一个本地文件,其文件内容是多条正则表达式。
-append 当同时使用-update选项时,追加源位置的文件内容到目标位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。 -filters 指定一个本地文件,其文件内容是多条正则表达式。
getpol streampol 界面显示如下信息,说明新策略已指定密码不过期: Policy: streampol Maximum password life: 0 days 00:00:00 …… 执行以下命令,将新的策略“streampol”应用到Storm用户