-
准备HBase应用开发和运行环境 - MapReduce服务 MRS
进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载并解压客户端软件包。 MRS 3.3.0之前版本,登录FusionInsight
-
准备本地应用开发环境 - MapReduce服务 MRS
进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载客户端到本地并解压。 MRS 3.3.0之前版本,登录FusionInsight
-
准备本地应用开发环境 - MapReduce服务 MRS
进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载客户端到本地并解压。 MRS 3.3.0之前版本,登录FusionInsight
-
准备HBase应用开发和运行环境 - MapReduce服务 MRS
进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载并解压客户端软件包。 MRS 3.3.0之前版本,登录FusionInsight
-
ALM-12039 OMS数据库主备不同步 - MapReduce服务 MRS
执行ping 备OMS数据库心跳IP地址命令检查备OMS数据库节点是否可达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,然后查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行6。 检查备OMS数据库状态是否正常。
-
Flink调优经验总结 - MapReduce服务 MRS
需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作,使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeo
-
Spark On Hudi性能调优 - MapReduce服务 MRS
Shuffle参数提升Hudi写入效率 开启spark.shuffle.readHostLocalDisk=true,本地磁盘读取shuffle数据,减少网络传输的开销。 开启spark.io.encryption.enabled=false,关闭shuffle过程写加密磁盘,提升shuffle效率。
-
Flink常见问题 - MapReduce服务 MRS
需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作,使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeo
-
在本地Windows环境中调测HetuEngine应用 - MapReduce服务 MRS
在本地Windows环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,可以在Windows环境下进行编译,本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows环境下的IntelliJ IDEA开发环境中,确认配置HetuEngine应用安全认证中得到的“user
-
SparkStreaming消费Kafka消息失败,提示“Couldn't find leader offsets” - MapReduce服务 MRS
如下所示,发现对应Topic状态正常。所有Partition均存在正常Leader信息。 图1 Topic分布信息和副本同步信息 检查客户端与Kafka集群网络是否连通,若网络不通协调网络组进行处理。 通过SSH登录Kafka Broker。 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。
-
为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误 - MapReduce服务 MRS
concurrent.TimeoutException: Timed out waiting for client connection. 回答 当网络不稳定时,会出现上述问题。当beeline出现timed-out异常时,Spark不会尝试重连。 解决措施: 用户需要通过重新启动spark-beeline进行重连。
-
在本地Windows环境中调测HetuEngine应用 - MapReduce服务 MRS
在本地Windows环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,可以在Windows环境下进行编译,本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows环境下的Intellij IDEA开发环境中,单击IDEA右侧Maven导入依赖。
-
Producer偶现发送数据失败,日志提示“Too many open files in system” - MapReduce服务 MRS
在使用Producer向Kafka发送数据功能时,发现客户端发送失败。 图1 Producer发送数据失败 可能原因 Kafka服务异常。 网络异常。 Kafka Topic异常。 原因分析 查看Kafka服务状态: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理
-
为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误 - MapReduce服务 MRS
concurrent.TimeoutException: Timed out waiting for client connection. 回答 当网络不稳定时,会出现上述问题。当beeline出现timed-out异常时,Spark不会尝试重连。 解决措施: 用户需要通过重新启动spark-beeline进行重连。
-
添加MySQL数据源 - MapReduce服务 MRS
查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。 集群已启用Kerberos认证(安全模式)创建HetuEngine管理员用户,集群未启用Kerberos认证(普通模式)创建Het
-
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 - MapReduce服务 MRS
io.connectionTimeout) < RPC响应超时时间(spark.rpc.askTimeout),在特殊条件下(Full GC,网络延时等)消息响应时间较长,消息还没有反馈,channel又达到了过期时间,该channel就被终止了,AM端感知到channel被终止后认为driver失联,然后整个应用停止。
-
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 - MapReduce服务 MRS
io.connectionTimeout) < RPC响应超时时间(spark.rpc.askTimeout),在特殊条件下(Full GC,网络延时等)消息响应时间较长,消息还没有反馈,channel又达到了过期时间,该channel就被终止了,AM端感知到channel被终止后认为driver失联,然后整个应用停止。
-
配置ClickHouse对接普通模式Kafka - MapReduce服务 MRS
ka的数据。 前提条件 已创建Kafka集群,且为普通模式。 已创建ClickHouse集群,并且ClickHouse集群和Kafka集群网络可以互通,并安装ClickHouse客户端。 操作步骤 登录ClickHouse服务所在集群的Manager页面,选择“集群 > 服务 >
-
调测ClickHouse Springboot样例程序 - MapReduce服务 MRS
在本地Windows环境中调测ClickHouse Springboot样例程序 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-rest-client-examples
-
调测springboot样例程序 - MapReduce服务 MRS
在本地Windows环境中调测ClickHouse Springboot样例程序 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-rest-client-examples