检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通写数据与Bulkload批量写数据场景下的容灾。 前提条件 主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主
jar”。 步骤3：上传jar包及源数据 将编译后的jar包上传到客户端节点，例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HD
等操作转为JSON格式发送到输出端(如控制台/文件/Kafka等)。Maxwell可部署在MySQL机器上，也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在Linux服务器上，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等，且需要Java
restart策略。 如果用户在作业失败后，希望对作业进行重试，推荐使用failure-rate策略。因为fixed-delay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数，从而导致作业失败。 为了防止在failure-rate策略下的无限重启，推荐如下参数配置：
本地环境使用开发工具下载依赖的jar包前，需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问：华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。
存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务，所以Driver程序建议和worker节点比较近，比如在一个相同的局部网络内。 Spark on YARN有两种部署模式： yarn-cluster模式下，Spark的Driver会运行在YARN集群内的Appl
时，每一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程
参见表1配置集群软件信息。 表1 软件配置 参数名称 参数说明 取值样例 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 选择“华北-北京四” 说明： 本指导以“华北-北京四”为例进行介绍，如果您需要选择其他区域进行操作，请确保所有操作均在同一区域进行。
按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。
为了提高导入数据速度，需要确保以下条件： 每个Map连接时，相当于一个客户端连接，因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或是网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小，单位为MB。参数值必须大于或
等操作转为JSON格式发送到输出端(如控制台/文件/Kafka等)。Maxwell可部署在MySQL机器上，也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在Linux服务器上，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等，且需要Java
按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据业务实际需要选择待创建的MRS集群类型。
为了提高导入数据速度，需要确保以下条件： 每个Map连接时，相当于一个客户端连接，因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或是网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小，单位为MB。参数值必须大于或
validate(UDFParameterValidator validator) throws Exception 在初始化方法“beforeStart”调用前执行，用于检测“UDFParameters”中用户输入的参数是否合法。 否 void beforeStart(UDFParameters parameters
软件配置（以下参数仅供参考，可根据实际情况调整） 参数名称 参数说明 取值样例 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 华北-北京四 计费模式 选择待创建的MRS集群的计费模式。 按需计费 集群名称 待创建的MRS集群名称。 MRS_demo
ZhangSan LiSi WangwWU Tom Jemmmy LinDa 将编译后的jar包上传到客户端节点，例如上传到“/opt”目录。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HD
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与MRS集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。 图3 集群列表 如果用户对本地数据源的访
按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据业务实际需要选择待创建的MRS集群类型。
按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。
Name 待连接的数据库名称，名称只能由英文字母、数字、下划线和中划线组成，且必须以英文字母开头。 opengaussdb Schema 待检测数据库的Schema名称。 oprngaussschema Datastore Type 上层源的类型。 MRS 3.2.0版本： opengauss
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
