检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采用ZooKeeper实现主备选举和倒换。 JobHistoryServer使用浮动IP对外提供服务。 兼容JHS单实例,也支持HA双实例。 同一时刻,只有一个节点启动JHS进程,防止多个JHS操作同一文件冲突。 支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性:特定场景优化MapRedu
改,例如“Streaming-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
改,例如“Streaming-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
“bd_app1”目录仅为示例,可以是界面上的任何目录,也可以通过“新建”创建新的目录。 单击“导入数据”,通过单击“浏览”选择OBS和HDFS路径。 单击“确定”。 文件上传进度可在“文件操作记录”中查看。 父主题: 应用开发类
NettySource算子各个并发度的subtaskIndex信息。 NettySource算子的并发度。 当NettySource算子进入run阶段后,平台内部会不断监控其NettyClient状态是否健康,一旦发现其出现异常,即会重启NettyClient,重新与NettyServer建立连接并接收数据,以防接收的数据混乱。
return flag; } 多次重复登录会导致后建立的会话对象覆盖掉之前登录建立的,将会导致之前建立的会话无法被维护监控,最终导致会话超期后部分功能不可用。 父主题: HDFS应用开发规范
登录Maxwell所在的服务器。 执行如下命令,获取Maxwell的进程标识(PID)。输出的第二个字段即为PID。 ps -ef | grep Maxwell | grep -v grep 执行如下命令,强制停止Maxwell进程。 kill -9 PID Maxwell生成的数据格式及常见字段含义
static_log_source.type = spooldir client.sources.static_log_source.spoolDir = 监控目录 client.sources.static_log_source.fileSuffix = .COMPLETED client.sources
HCatalog处理数据Java示例程序。 OpenTSDB opentsdb-examples 通过调用OpenTSDB接口可实现采集大规模集群中的监控类信息,并可实现数据的秒级查询。该样例程序主要实现写入数据、查询数据、删除数据等功能。 Spark spark-examples Spar
查看任务的执行进度。 存在由其他原因导致的Broker故障,且问题场景单一明确,短时间内可以恢复Broker的情况。 根据问题根因指定恢复方案,恢复故障Broker。 故障Broker恢复后,阻塞的均衡任务会继续执行,可使用--status命令来查看任务的执行进度。 存在由其他原
Manager系统进行配置。 参数配置组合决定了每节点任务(map、reduce)的并发数。 如果所有的任务(map/reduce)需要读写数据至磁盘,多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能,请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2
需要在FusionInsight Manager系统进行配置。 16384 Server 如果所有的任务(map/reduce)需要读写数据至磁盘,多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能,请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2
主机名 产生告警的主机名。 对系统的影响 节点的操作系统熵值不足,可能导致该节点上加解密等命令执行慢,进而引起各实例业务处理性能下降,甚至业务进程无法正常执行。 可能原因 haveged或者rng-tools工具未安装或未启动。 系统熵值连续多次检测低于100。 处理步骤 检查hav
该分组的权重,见schedulingPolicy,默认为1。 jmxExport 可选 如果为true,则组统计信息将被导出到JMX中进行监控,默认为false。 subGroups 可选 子分组列表。 killPolicy 可选 当查询提交给Worker后,如果总内存使用量超过
项,默认配置已可满足大规模集群并发高吞吐量的任务。 JobManager Web Frontend: JobManager启动时,会在同一进程内启动Web服务器,访问Web服务器可以获取当前Flink集群的信息,包括JobManager,TaskManager及集群内运行的Job
Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user
Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user
开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端:Oracle JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。 TaiShan客户端:OpenJDK:支持1
开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端:Oracle JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。 TaiShan客户端:OpenJDK:支持1
“HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE