检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
调整HetuEngine集群节点资源配置 HetuEngine默认的内存大小参数和硬盘溢出路径参数默认并非最佳，需要根据实际业务和集群的服务器配置情况调整集群节点资源配置，以获得最佳的性能效果。 调整HetuEngine集群节点资源步骤 登录FusionInsight Manager页面。
Ranger日志介绍 日志描述 日志存储路径：Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名” RangerAdmin：“/var/log/Bigdata/ranger/rangeradmin”（运行日志），“/var/log/Big
MRS 2.1.0.7补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.7 发布时间 2020-07-15 解决的问题 MRS 2.1.0.7 修复问题列表： MRS Manager 解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto查询结果保存成一个文件
beeline客户端报错“OutOfMemoryError” 问题背景与现象 beeline客户端查询大量数据时，报OutOFMemoryError：Java heap space，具体报错信息如下： org.apache.thrift.TException: Error in calling
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。
ALM-12202 进程内存使用率超过阈值 告警解释 系统每30秒周期性检测OMS主要进程内存使用状态，当检测到OMS主要进程内存使用率大于最大内存的90%（默认）时，产生当前告警。 当OMS主要进程内存使用率小于等于最大内存的90%时，告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。
ALM-17007 Oozie进程垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测Oozie进程的垃圾回收（GC）占用时间，当检测到Oozie进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
Loader作业导入大量数据至HDFS时报错 问题 大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。 图1 报错信息 回答 以下原因可能造成该报错： HDFS客户端向NameNode发送新Block申
ALM-14022 NameNode RPC队列平均时间超过阈值 告警解释 系统每30秒周期性检测NameNode的RPC队列平均时间，并把实际的NameNode的RPC队列平均时间和阈值（默认为200ms）相比较。当检测到NameNode的RPC队列平均时间连续多次（默认为10次）超出阈值范围时，产生该告警。
配置MapReduce通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，MapReduce服务还需参考本章节新增自定义配置。 MapReduce对接OBS 登录MRS管理控制台，单击集群名称进入集群详情页面。 选择“组件管理 > Mapr
Spark运维管理 快速配置参数 常用参数 Spark2x日志介绍 调整Spark日志级别 配置WebUI上查看Container日志 获取运行中Spark应用的Container日志 配置Spark Eventlog日志回滚 配置WebUI上显示的Lost Executor信息的个数
Hue连接HiveServer报错“over max user connections”如何处理？ 适用版本：MRS 3.1.0及之前的MRS 3.x版本。 修改所有Hue节点上的以下配置文件： /opt/Bigdata/FusionInsight_Porter_8.*/inst
DBService状态正常，组件无法连接DBService 问题背景与现象 上层组件连接DBService失败，检查DBService组件状态正常，两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService。
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
ALM-45280 RangerAdmin垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测RangerAdmin进程的垃圾回收（GC）占用时间，当连续5次检测到RangerAdmin进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。
ALM-45288 TagSync垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测TagSync进程的垃圾回收（GC）占用时间，当连续5次检测到TagSync进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.j
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
