检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用External Shuffle Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不
配置Container日志聚合功能 配置场景 Yarn提供了Container日志聚合功能，可以将各节点Container产生的日志收集到HDFS，释放本地磁盘空间。日志收集的方式有两种： 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
配置从NameNode支持读操作 配置场景 在配置了HA的HDFS集群中，存在一个主NameNode和一个备NameNode。主NameNode处理所有的客户端请求，备NameNode保持最新的元数据信息和块位置信息。但是在这种架构存在一个缺点：主NameNode会成为客户端请求
增加Hive表字段超时 用户问题 增加Hive表字段报错。 问题现象 Hive对包含10000+分区的表执行ALTER TABLE table_name ADD COLUMNS(column_name string) CASCADE;，报错如下： Timeout when executing
修改MRS集群组件配置参数 为了满足实际业务的需求，用户可以在MRS中快速查看及修改服务默认的配置。 操作MRS集群前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 如果通过M
配置从NameNode支持读操作 配置场景 在配置了HA的HDFS集群中，存在一个主NameNode和一个备NameNode。主NameNode处理所有的客户端请求，备NameNode保持最新的元数据信息和块位置信息。但是在这种架构存在一个缺点：主NameNode会成为客户端请求
ALM-26053 Storm Slot使用率超过阈值 告警解释 系统每60秒周期性检测Slot使用率，并把实际Slot使用率和阈值相比较。当检测到Slot使用率高于阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置”修改阈值。 当Slot使用率小于或等于阈值时，告警恢复。
配置Container日志聚合功能 配置场景 YARN提供了Container日志聚合功能，可以将各节点Container产生的日志收集到HDFS，释放本地磁盘空间。日志收集的方式有两种： 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
MRS集群加固策略说明 加固Tomcat 在FusionInsight Manager软件安装及使用过程中，针对Tomcat基于开源做了如下功能增强： 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500，对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。
ALM-50219 当前查询执行线程池等待队列的长度超过阈值 告警解释 系统每30秒周期性检查当前查询执行线程池等待队列的长度超过阈值，当检查到该值超出阈值（默认值为20）时产生该告警。 当前查询执行线程池等待队列的长度低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否可自动清除
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io，提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可
配置Spark SQL防御规则 配置Spark SQL防御操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 配置Spark SQL防御前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。
ALM-50214 FE中处理任务的线程池中正在排队的任务数超过阈值 告警解释 系统每30秒周期性检查FE中处理任务的线程池中正在排队的任务数，当检查到该值超出阈值（默认值为10）时产生该告警。该线程池为NIO MySQL Server用于处理任务的线程池。 当FE中处理任务的线
URL函数 提取函数 描述：提取函数用于从HTTP URL（或任何符合RFC 2396标准的URL）中提取内容。 [protocol:][//host[:port]][path][?query][#fragment] 提取的内容不会包含URI的语法分隔符，比如“：”或“？”。 u
ALM-12038 监控指标转储失败 告警解释 用户在FusionInsight Manager界面配置监控指标转储后，系统按转储时间间隔（默认60秒）周期性检测监控指标转储结果，转储失败时产生该告警。 转储成功后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12038
OpenTSDB CLI Tools介绍 OpenTSDB提供了客户端工具，可以直接调用相关命令对OpenTSDB进行操作。客户端工具同开源社区版本保持一致，请参见https://opentsdb.net/docs/build/html/user_guide/cli/index.html。
MRS集群运维说明 账户维护建议 建议系统管理员对账户例行检查，检查的内容包括： 操作系统、Manager以及各组件的账户是否有必要，临时账户是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在
StarRocks StarRocks简介 StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。
入门实践 当完成MRS集群部署后，可以根据自身的业务需求使用MRS提供的一系列常用实践。 表1 MRS常用最佳实践 实践 描述 数据分析 使用Spark2x实现车联网车主驾驶行为分析 本实践指导使用Spark实现车主驾驶行为分析。用于了解MRS的基本功能，利用MRS服务的Spar
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
