检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS组件默认日志级别与归档文件大小 如果需要在日志中调整记录的日志级别,则管理员可以修改FusionInsight Manager的日志级别。对于某个具体的服务,除了可以修改日志级别,还可以修改日志文件大小,防止磁盘空间不足日志无法保存。 本章节操作仅支持MRS 3.x及之后的版本
Spark SQL join优化 操作场景 Spark SQL中,当对两个表进行join操作时,利用Broadcast特性(请参见使用广播变量),将小表BroadCast到各个节点上,从而转变成非shuffle操作,提高任务执行性能。 这里join操作,只指inner join。
JobGateway日志介绍 日志描述 日志路径:JobGateway相关日志的存储路径为:“/var/log/Bigdata/job-gateway/”。 日志归档规则:JobGateway的运行日志启动了自动压缩归档功能,当日志大小超过20MB的时候(此日志文件大小可进行配置)
更新弹性伸缩策略 功能介绍 更新弹性伸缩策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Flink Client CLI介绍 常用CLI Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。例如: cd /opt/client/HDFS/hadoop
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。例如: cd /opt/client/HDFS/hadoop
在Windows中调测Impala JDBC应用 运行样例。 导入和修改样例后,即可在开发环境中,右击“JDBCExample.java”,选择“Run 'JDBCExample.main()'”运行对应的应用程序工程。 使用Windows访问MRS集群来操作Impala,有如下两种方式
Flink Client CLI介绍 常用CLI Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin
Flink Client CLI介绍 常用CLI Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。例如: cd /opt/client/HDFS/hadoop
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源(如CPU核数、内存总量)不一样,而NodeManager可用硬件资源设置为相同的值,可能造成性能浪费或状态异常,需要修改各个NodeManager角色实例的配置,使硬件资源得到充分利用
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制,详细操作请参考Kafka
提升HBase非业务高峰期的Compaction执行速度 操作场景 HBase支持设置非业务高峰期和非高峰期的Compaction吞吐量,通过在非高峰期设置较大的吞吐量,加快Compaction的执行速度,减小高峰期Compaction对业务的影响。 该操作仅MRS 3.3.0及之后版本支持
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端
ALM-45589 ConfigNode堆内存使用率超过阈值 告警解释 系统每60秒周期性检测ConfigNode进程堆内存使用状态,当检测到ConfigNode进程堆内存使用率超出阈值(最大内存的90%)时产生该告警。当ConfigNode进程堆内存使用率小于阈值时,告警清除。
ALM-14010 NameService服务异常(2.x及以前版本) 告警解释 系统每180秒周期性检测NameService服务状态,当检测到NameService服务不可用时产生该告警。 NameService服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除
ALM-12048 网络写包错误率超过阈值 告警解释 系统每30秒周期性检测网络写包错误率,并把实际错误率和阈值(系统默认阈值0.5%)进行比较,当检测到网络写包错误率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 >
ALM-24010 Flume证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前Flume证书文件是否合法(证书是否存在,证书格式是否正确),如果证书文件非法或已损坏,产生该告警。证书文件恢复合法时,告警恢复。 告警属性 告警
Java样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>(); sqlList.add