检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nettyconnector.ssl.enabled: true nettyconnector.sinkserver.subnet:设置网络所属域,例如: nettyconnector.sinkserver.subnet: 10.162.0.0/16 安全认证配置: Zooke
接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而产生异常。使用方式如下: 在执行“DriverManager
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:主机文件句柄使用率超过阈值时,系统应用无法打开文件、网络等IO操作,程序异常,可能会导致作业运行失败。 可能原因 应用进程存在异常,如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。
r界面。该方式操作较为复杂,推荐在不支持EIP功能的场景使用。 通过配置SSH隧道访问MRS集群Manager:用户和MRS集群处于不同的网络中,可以创建一个SSH隧道连接,使用户访问站点的数据请求发送到MRS集群并动态转发到对应的站点。 前提条件 访问MRS集群Manager前
接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager
nettyconnector.ssl.enabled: true nettyconnector.sinkserver.subnet:设置网络所属域,例如: nettyconnector.sinkserver.subnet: 10.162.0.0/16 安全认证配置: Zooke
导用户通过MRS Manager创建备份任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 需要准备一个用于备份数据的备集群,且网络连通。每个集群的安全组,需分别添加对端集群的安全组入方向规则,允许安全组中所有弹性云服务器全部协议全部端口的访问请求。 根据业务需要,规划
存在数据倾斜 Rows/s Task每秒钟读取的数据条数,通过分析相同Stage阶段不同Task每秒钟读取数据条数可以快速判断节点是否存在网络带宽差异,定位是否节点网卡存在问题 Bytes Task读取的数据量 Bytes/s Task每秒钟读取的数据量 Elapsed Task执行时长
购买ELB并对接Doris 购买ELB并获取其公网IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录华为云管理控制台,在服务列表中选择“网络 > 弹性负载均衡 ELB”。 在“负载均衡器”界面右上方单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,配置以下参数,其他参数保持默认即可:
afka和Hive权限。 根据所用的开发语言安装并配置IntelliJ IDEA及JDK等工具。 已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并
说明 默认值 影响分析 request.timeout.ms 指定发送消息请求的请求超时时间。单位:毫秒。 30000 请求超时时间,出现网络问题时,需调大此参数;配置过小,则容易出现Batch Expire异常。 表4 Consumer相关超时参数 配置名称 说明 默认值 影响分析
说明 默认值 影响分析 request.timeout.ms 指定发送消息请求的请求超时时间。单位:毫秒。 30000 请求超时时间,出现网络问题时,需调大此参数;配置过小,则容易出现Batch Expire异常。 表4 Consumer相关超时参数 配置名称 说明 默认值 影响分析
HDFS服务的“管理NameService”页面获取,例如“hacluster”。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。
output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有5个优先级别,VERY_HIGH
output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有
Multicast功能 当前仅支持IPv4 Linux/Unix环境下HBase客户端配置开启Multicast功能,客户端与HMaster节点业务IP的网络通信需正常。请根据业务实际情况执行以下操作开启Multicast功能: (可选)服务端HMaster默认已开启并配置该特性,当节点上生效网
eeper动态获取HiveServer的地址然后来操作Hive,具有高可用性。 使用本机访问MRS集群操作Hive,由于本机与MRS集群的网络不通,只能通过直连HiveServer的方式操作Hive。 方法一:申请一台windows的ECS访问MRS集群操作Hive。在安装开发环
output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有
output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有
通过limit限制查询返回的数据量,节省计算资源、减少网络开销。 如果返回的数据量过大,客户端有可能出现内存溢出等服务异常。 对于前端使用ClickHouse的场景,如果要查询的数据量比较大,建议每次可适当地进行分页查询返回数据,以减少查询数据量对网络带宽和计算资源的占用。 【不做limit限制】