检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS网络不稳定场景调优 配置场景 在网络不稳定的情况下，调整如下参数，降低客户端应用运行异常概率。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 ha.health-monitor.rpc-timeout.ms
数据迁移到MRS前网络准备 数据迁移网络方案说明 进行大数据迁移时，需要保证源端集群和目的端集群之间的网络互通，例如使用hadoop distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。 客户线下数据中心迁移数据到华为云
优化Flink Netty网络通信参数 操作场景 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml”
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.FetchFailedException
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发
优化Flink Netty网络通信参数 操作场景 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml”
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.FetchFailedException
HDFS网络不稳定场景调优 配置场景 在网络不稳定的情况下，调整如下参数，降低客户端应用运行异常概率。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 ha.health-monitor.rpc-timeout.ms
配置网络配置和节点配置。 表2 网络配置和节点配置 参数名称 参数含义 取值样例 可用区 选择集群工作区域下关联的可用区。 可用区2 虚拟私有云 选择需要创建集群的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务，然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务，将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后，告警消除。
检查Manager：EIP、安全组等相关网络配置正常的情况下，检查Manager是否运行正常。 检查用户密码：登录Manager使用的用户密码错误或失效。 处理步骤 登录MRS管理控制台页面，选择“现有集群”，查看MRS集群运行状态是否正常。 是，执行3。
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block.size
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults.conf
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码，需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置，Coordinator角色配置： PRESTO_COORDINATOR_FLOAT_IP = 内网
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求，解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域，选择网络ACL的名称列，单击您需要修改的网络
ALM-12050 网络写吞吐率超过阈值 告警解释 系统每30秒周期性检测网络写吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络写吞吐率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 >
ALM-12049 网络读吞吐率超过阈值 告警解释 系统每30秒周期性检测网络读吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络读吞吐率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 >
配置OpenTSDB参数 执行样例代码前，必须在样例代码工程“resources”目录下的opentsdb.properties中修改如下参数： tsd_hostname = node-ana-coreYQnTx tsd_port = 4242 tsd_protocol = https
组件配置类 MRS是否支持Hive on Kudu？ MRS集群是否支持Hive on Spark？ 如何修改DBService的IP地址？ Kafka支持的访问协议类型有哪些？ MRS集群中Spark任务支持哪些Python版本？ MRS 2.1.0版本集群对Storm日志的大小有什么限制
配置进程参数 操作场景 Spark on YARN模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
