-
Spark Structured Streaming状态操作样例程序开发思路 - MapReduce服务 MRS
echo "${files[*]}") 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令如下(类名与文件名等请与实际代码保持一致,此处仅为示例): bin/spark-submit --master yarn --deploy-mode client
-
Spark Core样例程序开发思路 - MapReduce服务 MRS
/opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Scala和Java样例程序 bin/spark-submit --class com.huawei
-
Spark SQL样例程序开发思路 - MapReduce服务 MRS
/opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Scala和Java样例程序 bin/spark-submit --class com.huawei
-
Spark Core样例程序开发思路 - MapReduce服务 MRS
/opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Scala和Java样例程序 bin/spark-submit --class com.huawei
-
ALM-24012 Flume证书文件已过期 - MapReduce服务 MRS
Porter_*/install/FusionInsight-Flume-*/flume/conf 执行以下命令查看HA用户证书的生效时间与失效时间,查看目前时间是否在有效期内。 openssl x509 -noout -text -in flume_sChat.crt 是,执行9。
-
管理服务操作 - MapReduce服务 MRS
在集群详情页,单击“组件管理”。 在指定服务所在行,单击“启动”、“停止”和“重启”执行启动、停止和重启操作。 服务之间存在依赖关系。对某服务执行启动、停止和重启操作时,与该服务存在依赖关系的服务将受到影响。 具体影响如下: 启动某服务,该服务依赖的下层服务需先启动,服务功能才可生效。 停止某服务,依赖该服务的上层服务将无法提供功能。
-
在Kafka Topic中接入消息 - MapReduce服务 MRS
/config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 使用KafkaUI查看当前消费情况(MRS
-
MRS 3.1.0版本补丁说明 - MapReduce服务 MRS
tuple()导致样本崩溃的问题 解决ClickHouse令牌提取器中的缓冲区溢出的问题 解决ClickHouse与ZooKeeper的连接超时hang住问题 解决ClickHouse与Zookeeper服务连接断开,导致认证超时问题 解决ClickHouse滚动升级过程中,连接ZooKe
-
缩容集群 - MapReduce服务 MRS
缩容集群 功能介绍 对MRS集群进行缩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/shrink 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID
-
Spark SQL样例程序开发思路 - MapReduce服务 MRS
/opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Scala和Java样例程序 bin/spark-submit --class com.huawei
-
Spark Structured Streaming状态操作样例程序开发思路 - MapReduce服务 MRS
echo "${files[*]}") 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令如下(类名与文件名等请与实际代码保持一致,此处仅为示例): bin/spark-submit --master yarn --deploy-mode client
-
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” - MapReduce服务 MRS
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现Topic无法被创建。 kafka-topics.sh --create --zookeeper 192.168.234.231:2181/kafka
-
Hive任务失败,报没有HDFS目录的权限 - MapReduce服务 MRS
Hive任务失败,报没有HDFS目录的权限 问题背景与现象 Hive任务报错,提示执行用户没有HDFS目录权限: 2019-04-09 17:49:19,845 | ERROR | HiveServer2-Background-Pool: Thread-3160445 | Job
-
ALM-23004 Loader堆内存使用率超过阈值 - MapReduce服务 MRS
注意堆内存设置时,可以设置“-Xms” “-Xmx”近似相等,从而避免每次GC后调整堆的大小,从而引起性能下降。 同时,并且“-Xmx”与“XX:MaxPermSize”之和不得大于该节点服务器的实际物理内存值。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。
-
ALM-24015 Flume MonitorServer证书文件已过期 - MapReduce服务 MRS
t_Porter_*/install/FusionInsight-Flume-*/flume/conf 执行以下命令查看用户证书的生效时间与失效时间,查看目前时间是否在有效期内。 openssl x509 -noout -text -in ms_sChat.crt 是,执行9。 否,执行5。
-
修改服务自定义配置参数 - MapReduce服务 MRS
定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数,设置不同参数值后生效结果由组件加载配置文件的顺序决定。自定义参数支持服务级别与角色级别,请根据业务实际需要选择。不支持单个角色实例添加自定义参数。 在对应参数项所在行“名称”列输入组件支持的参数名,在“值”列输入此参数的参数值。
-
准备ClickHouse应用运行环境 - MapReduce服务 MRS
用户”,在用户名为developuser的操作列选择“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群
-
ALM-12010 Manager主备节点间心跳中断 - MapReduce服务 MRS
明端口已经开放,否则说明端口被防火墙禁用。 是,执行13。 否,执行16。 执行命令iptables -P INPUT ACCEPT,防止与服务器断开。 清除防火墙。 iptables -F 查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行16。 收集故障信息。 在FusionInsight
-
使用客户端提交Storm拓扑 - MapReduce服务 MRS
topology1 显示以下信息表示拓扑提交成功: Finished submitting topology: topology1 登录认证用户必须与所加载环境变量(component_env)一 一对应,否则使用storm命令提交拓扑任务出错。 加载客户端环境变量且对应用户登录成功后,该
-
MRS 1.7.1.6补丁说明 - MapReduce服务 MRS
2升级其他补丁不会重启服务,业务不断服。 MRS 1.7.1.1,MRS 1.7.1.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主Master节点的原始客户端全量更新,请参见全量更新主Master节点的原始客户端。 备