检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。
nettyconnector.sinkserver.port.range：设置NettySink的端口范围（必填），例如： nettyconnector.sinkserver.port.range: 28444-28943 nettyconnector.sinkserver.subnet：设置网络所属域
login的代码样例： private Boolean login(Configuration conf){ boolean flag = false; UserGroupInformation.setConfiguration(conf);
由于shuffle类算子存在节点之间的网络传输，因此对于数据量很大的RDD，应该尽量提取需要使用的信息，减小其单条数据的大小，然后再调用shuffle类算子。
iterator); } } ); jsc.stop(); } /** * 在executor端更新table2表记录 * * @param iterator table1表的partition数据 */ private
iterator); } } ); jsc.stop(); } /** * 在executor端更新table2表记录 * * @param iterator table1表的partition数据 */ private
Impala StateStore 负责检查Impala的所有进程健康状态管理进程，进程名为statestored，当有Impalad的进程因硬件失败、网络错误、软件原因或者其他原因下线时，StateStore负责通知到其他的Impalad进程，避免请求分发到不可用的节点上。
nettyconnector.ssl.enabled：设置NettySink与NettySource之间通信是否SSL加密（默认为false），例如： nettyconnector.ssl.enabled: true nettyconnector.sinkserver.subnet：设置网络所属域
前提条件 需要准备一个用于备份数据的备集群，且网络连通。每个集群的安全组，需分别添加对端集群的安全组入方向规则，允许安全组中所有弹性云服务器全部协议全部端口的访问请求。
time elapsed (ms)=202 CPU time spent (ms)=2720 Physical memory (bytes) snapshot=1595645952 Virtual
30000 请求超时时间，出现网络问题时，需调大此参数；配置过小，则容易出现Batch Expire异常。 表4 Consumer相关超时参数 配置名称 说明 默认值 影响分析 connections.max.idle.ms 空闲连接的保留时间。
已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序，需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA，导入样例工程依赖jar包。通过IDEA配置并生成jar包。
java.io.Serializable; public class UserSource extends RichParallelSourceFunction<Tuple2<Integer, String>> implements Serializable { private
connection.close() } catch { case e: IOException => e.printStackTrace() } } } } private
java.io.Serializable; public class UserSource extends RichParallelSourceFunction<Tuple2<Integer, String>> implements Serializable { private
java.io.Serializable; public class UserSource extends RichParallelSourceFunction<Tuple2<Integer, String>> implements Serializable { private
iterator); } } ); jsc.stop(); } /** * 在executor端更新table2表记录 * * @param iterator table1表的partition数据 */ private
iterator); } } ); jsc.stop(); } /** * 在executor端更新table2表记录 * * @param iterator table1表的partition数据 */ private
当map的输出数据大，减少网络压力，使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级，共有5个优先级别，VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW，默认级别为NORMAL。
系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
