检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨集群互信。如果主
导用户通过MRS Manager创建备份任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 需要准备一个用于备份数据的备集群,且网络连通。每个集群的安全组,需分别添加对端集群的安全组入方向规则,允许安全组中所有弹性云服务器全部协议全部端口的访问请求。 根据业务需要,规划
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
为了提高导入数据速度,需要确保以下条件: 每个Map连接时,相当于一个客户端连接,因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小,单位为MB。参数值必须大于或
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
创建并配置RDS实例 登录RDS管理控制台,购买RDS实例,具体操作请参考购买实例。 为了保证集群和MySQL或PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。 RDS实例的安全组入方向规则需要放通MySQL(默认为“3306”)和Postgre
个拷贝件主要用于系统的可用性和容错。 NodeManager 负责执行应用程序的容器,同时监控应用程序的资源使用情况(CPU、内存、硬盘、网络)并且向ResourceManager汇报。 ResourceManager 集群的资源管理器,基于应用程序对资源的需求进行调度。资源管理
install编译构建HBase Jar包失败报错Could not transfer artifact如何处理 问题 样例代码在进行maven编译构建jar包时,Build Failed,提示错误信息:Could not transfer artifact org.apache
install构建HBase Jar包失败报错Could not transfer artifact如何处理 问题 样例代码在进行maven编译构建jar包时,Build Failed,提示错误信息:Could not transfer artifact org.apache.c
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
为了提高导入数据速度,需要确保以下条件: 每个Map连接时,相当于一个客户端连接,因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小,单位为MB。参数值必须大于或
install编译构建HBase Jar包失败报错Could not transfer artifact如何处理 问题 样例代码在进行maven编译构建jar包时,Build Failed,提示错误信息:Could not transfer artifact org.apache
install编译构建HBase Jar包报错Could not transfer artifact如何处理 问题 样例代码在进行maven编译构建jar包时,Build Failed,提示错误信息:Could not transfer artifact org.apache.c
主备集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。 易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束:
华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程,不对外提供任何网络服务,重置密码插件CloudResetPwdUpdateAgent使用了Apache Log4j2组件,经华为云安全实验室分析验证,ECS重置密码插件无可利用条件,无安全风险。
mo.jar”。 上传jar包及源数据 将编译后的jar包上传到客户端节点,例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HD
hdfs://cluster1/foo/bar hdfs://cluster2/bar/foo 集群cluster1和集群cluster2之间的网络必须保持互通,且两个集群需要使用相同或兼容的HDFS版本。 多个源目录的数据拷贝,示例如下: hadoop distcp hdfs://cluster1/foo/a
默认取值: 不涉及 network_read String 参数解释: 网络读取速度。单位Byte/s。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 network_write String 参数解释: 网络写入速度。单位Byte/s。 约束限制: 不涉及 取值范围: 不涉及
本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。