检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
压,带来了更多的CPU消耗。因此需要做好权衡。当任务属于网络瓶颈类型时,压缩Map中间结果效果明显。针对bulkload调优,压缩中间结果后性能提升60%左右。 配置方法:将“mapreduce.map.output.compress”参数值设置为“true”,将“mapreduce
实例”,进入“Kafka实例”页面,停止2中对应的Broker实例,并登录该节点,手动删除6中配置的数据目录,然后继续执行后续步骤,待后续步骤执行完成后,再启动当前Broker实例。 单击“组件管理 > Kafka > 服务配置”,进入“Kafka服务配置”页面。 查看参数“disk.adapter
服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
显示一条语句的逻辑的或者分布式的执行计划,也可以用于校验一条SQL语句,或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划(fragmented plan)。每一个fragment都会被一个或者多个节点执行。Fragments separation表示数据
rator<T> reduce(ReduceFunction<T> function) 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
rator<T> reduce(ReduceFunction<T> function) 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
rator<T> reduce(ReduceFunction<T> function) 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“44005”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 单击“组件管理 > Presto > 实例 > Coordinator(对应上报告警实例IP地址)
使用率超过阈值。 处理步骤 检查非堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43011”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制
-as-sequencefile 将数据导入到一个sequence文件中。 -as-textfile 将数据导入到一个普通文本文件中,生成该文本文件后,可以在hive中通过sql语句查询出结果。 -boundary-query <statement> 边界查询,在导入前先通过SQL查询得到
IoTDB基本原理 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构,具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序,索引和chunk块存储,大大的提升时序数据的查询性能。通过Raft协议,
产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 omm用户或密码过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 系统omm用户或密码即将过期。 处理步骤 检查系统中omm用户和密码是否正常。 登录故障节点。 执行以下命令来查看当前omm用户密码设置信息:
可能原因 用户手动修改了文件权限、用户和用户组等信息或者系统异常下电等原因。 处理步骤 检查异常文件权限。 登录MRS集群详情页面,选择“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名,查看定位信息中对应的“PathName”字段值,获取异常的文件路径或者名称。
如果设置了numrecords和jobid,jobid列表按字典顺序排列,待jobid返回后,可以得到numrecords的最大值。如果jobid没有设置, 而numrecords设置了参数值,jobid按字典顺序排列后,可以得到numrecords的最大值。相反,如果numrecords没有设
rator<T> reduce(ReduceFunction<T> function) 应用一个reduce函数到窗口上,返回reduce后的值。 reduceFunction指的是执行的reduce函数。 WindowFunction的function指的是在经过reduce操作之后再触发一次窗口操作。
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上
能力。MRS可以直接处理OBS中的数据,客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS:数据存储和计算分离,集群存储成本低,存储量不受限制,并且集群可以随时删
HBase通过接口调用,可提供的功能如表1所示。 表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删 高级特性 过滤器、二级索引,协处理器 管理功能 表管理、集群管理 常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。