检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个拷贝件主要用于系统的可用性和容错。 NodeManager 负责执行应用程序的容器，同时监控应用程序的资源使用情况（CPU、内存、硬盘、网络）并且向ResourceManager汇报。 ResourceManager 集群的资源管理器，基于应用程序对资源的需求进行调度。资源管理
并且配置了安全集群，参数值设置为“true”。否则设置为“false”。 false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。 Java序列化的默认值适用于任何Serializable Java对象，但运行速度相当慢，所以建议使用org
并且配置了安全集群，参数值设置为“true”。否则设置为“false”。 false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。 Java序列化的默认值适用于任何Serializable Java对象，但运行速度相当慢，所以建议使用org
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。 通
存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务，所以Driver程序需要和worker节点比较近，比如在一个相同的局部网络内。 Spark on YARN有两种部署模式： YARN-Cluster模式下，Spark的Driver会运行在YARN集群内的Appl
Netty/NIO及Hash/Sort配置 Shuffle是大数据处理中最重要的一个性能点，网络是整个Shuffle过程的性能点。目前Spark支持两种Shuffle方式，一种是Hash，另外一种是Sort。网络也有两种方式，Netty和NIO。 表8 参数说明 参数 描述 默认值 spark
华为云ECS服务提供了一键式重置密码功能，弹性云服务器的密码丢失或过期时，可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程，不对外提供任何网络服务，重置密码插件CloudResetPwdUpdateAgent使用了Apache Log4j2组件，经华为云安全实验室分析验证，ECS重置密码插件无可利用条件，无安全风险。
mo.jar”。 上传jar包及源数据 将编译后的jar包上传到客户端节点，例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HD
为了提高导入数据速度，需要确保以下条件： 每个Map连接时，相当于一个客户端连接，因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小，单位为MB。参数值必须大于或
主备集群数据，减少查询毛刺，具体表现为： 高成功率：双并发读机制，保证每一次读请求的成功率。 可用性：单集群故障时，查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性：双读特性不支持双写，但不影响原有的实时写场景。 易用性：客户端封装处理，业务侧不感知。 HBase双读使用约束：
创建并配置RDS实例 登录RDS管理控制台，购买RDS实例，具体操作请参考购买实例。 为了保证集群和MySQL或PostgreSQL数据库的网络访问，建议该实例与MRS集群的虚拟私有云和子网一致。 RDS实例的安全组入方向规则需要放通MySQL（默认为“3306”）和Postgre
hdfs://cluster1/foo/bar hdfs://cluster2/bar/foo 集群cluster1和集群cluster2之间的网络必须保持互通，且两个集群需要使用相同或兼容的HDFS版本。 多个源目录的数据拷贝，示例如下： hadoop distcp hdfs://cluster1/foo/a
主备集群数据，减少查询毛刺，具体表现为： 高成功率：双并发读机制，保证每一次读请求的成功率。 可用性：单集群故障时，查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性：双读特性不支持双写，但不影响原有的实时写场景。 易用性：客户端封装处理，业务侧不感知。 HBase双读使用约束：
BlockManager.logAddStoredBlock(BlockManager.java:2393) DataNode上报块写成功通知延迟的原因可能有：网络瓶颈导致、CPU瓶颈导致。 如果此时再次调用close或者close的retry的次数增多，那么close都将返回成功。建议适当增大参数dfs
本地环境使用开发工具下载依赖的jar包前，需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问：华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。
弹性云服务器的CPU架构需和MRS集群节点保持一致。 弹性云服务器客户端安装目录需要分配足够的磁盘空间，至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。
hdfs://cluster1/foo/bar hdfs://cluster2/bar/foo 集群cluster1和集群cluster2之间的网络必须保持互通，且两个集群需要使用相同或兼容的HDFS版本。 多个源目录的数据拷贝，示例如下： hadoop distcp hdfs://cluster1/foo/a
通写数据与Bulkload批量写数据场景下的容灾。 前提条件 主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主
存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务，所以Driver程序建议和worker节点比较近，比如在一个相同的局部网络内。 Spark on YARN有两种部署模式： yarn-cluster模式下，Spark的Driver会运行在YARN集群内的Appl
等操作转为JSON格式发送到输出端(如控制台/文件/Kafka等)。Maxwell可部署在MySQL机器上，也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在Linux服务器上，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等，且需要Java
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
