检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下，配置参数需要进行相应的调整，本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager
ALM-18010 ResourceManager进程垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测ResourceManager进程的垃圾回收（GC）占用时间，当检测到ResourceManager进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。
Spark运维管理 快速配置Spark参数 Spark常用配置参数 Spark日志介绍 获取运行中Spark应用的Container日志 调整Spark日志级别 配置WebUI上查看Container日志 配置WebUI上显示的Lost Executor信息的个数 配置JobHistory
有210000个map和10000个reduce的HBase BulkLoad任务运行失败 问题 MRS 3.x及之后版本HBase bulkLoad任务（单个表有26T数据）有210000个map和10000个reduce，任务失败。 回答 ZooKeeper IO瓶颈观测手段：
Spark Streaming调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是秒级时延和高吞吐量。因此Streaming调优的目标是在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为
使用Hive Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列？ 怎么通过客户端设置Map/Reduce内存？ 如何在导入Hive表时指定输出的文件压缩格式？ Hive
ALM-45590 ConfigNode垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测ConfigNode进程的垃圾回收（GC）时间，当检测到ConfigNode进程的垃圾回收（GC）时间连续3次超过阈值（默认12秒）时产生该告警。当ConfigNode垃圾回收（GC
ALM-45587 IoTDBServer垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测IoTDBServer进程的垃圾回收（GC）时间，当检测到IoTDBServer进程的垃圾回收（GC）连续3次超过阈值（默认12秒）时产生该告警。用户可通过“运维 > 告警 >
YARN开源增强特性 任务优先级调度 在原生的YARN资源调度机制中，如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源，会使得后提交的Job一直处于等待状态，直到Running中的Job执行完并释放资源。 MRS集群提供了任务优先级调度机制。此机制允许用户定义不同优先级的
如何提高集群Core节点的资源使用率？ 进入 Yarn服务配置页面： MRS 1.8.10及之前版本，登录MRS Manager页面，然后选择“服务管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2.x版本，单击集群名称，
有210000个map和10000个reduce的HBase BulkLoad任务运行失败 问题 HBase bulkLoad任务（单个表有26T数据）有210000个map和10000个reduce，任务失败。 回答 ZooKeeper IO瓶颈观测手段： 通过Manager的监控页面查看单个节点上
MRS 2.0.1.2补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表： MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时
使用UDF函数时提示“Invalid function” 问题现象 在Hive客户端中使用Spark创建UDF函数时，报出"ERROR 10011","invalid function"的异常，如下： Error: Error while compiling statement:
Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn
配置MRS集群监控指标数据转储 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数，使集群内各监控指标数据保存到指定的FTP服务器，与第三方系统进行对接
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求，解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域，选择网络ACL的名称列，单击您需要修改的网络
使用Grafana对接IoTDB数据库 应用场景 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 IoTDB支持对接Grafana，对接成功后，即可通过Grafana丰富的图形报表展示能力，对IoTDB中的时序数据进行图形化展示，以分析时序数据的变化趋势等信息
使用HBase BulkLoad导入数据成功，执行相同的查询时却返回不同的结果 问题 在使用HBase bulkload导入数据时，如果导入的数据存在相同的rowkey值，数据可以导入成功，但是执行相同的查询时可能返回不同的结果。 回答 正常情况下，相同rowkey值的数据加载到HBase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
