检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本地环境使用开发工具下载依赖的jar包前，需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问：华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。
组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。 连接到服务器失败，请检查网络连接或参数设置。 生成客户端会占用大量的磁盘IO，不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。 使用VNC方式，登录弹
hdfs://cluster1/foo/bar hdfs://cluster2/bar/foo 集群cluster1和集群cluster2之间的网络必须保持互通，且两个集群需要使用相同或兼容的HDFS版本。 多个源目录的数据拷贝，示例如下： hadoop distcp hdfs://cluster1/foo/a
Teradata函数 以下函数提供Teradata SQL的能力。 字符串函数 char2hexint(string) 描述：返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述：同strpos() 函数。 日期函数 本节中的函数使用与Teradata
like "%example%"; 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证（安全模式） 在FusionInsight Manager中创建
通写数据与Bulkload批量写数据场景下的容灾。 前提条件 主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主
为了提高导入数据速度，需要确保以下条件： 每个Map连接时，相当于一个客户端连接，因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或是网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小，单位为MB。参数值必须大于或
弹性云服务器的CPU架构需和MRS集群节点保持一致。 弹性云服务器客户端安装目录需要分配足够的磁盘空间，至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。
执行时机为缩容后的脚本不会在已经被删除的Task节点上执行。 失败操作 继续 该脚本执行失败后，是否继续执行后续脚本和扩缩容操作。 说明： 建议您在调试阶段设置为“继续”，无论此脚本是否执行成功，则集群都能继续扩缩容操作。 若脚本执行失败，请到集群虚拟机的“/var/log/Bootstrap”路径下查看失败日志。
按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据业务实际需要选择待创建的MRS集群类型。
jar”。 上传jar包及准备源数据 将编译后的jar包上传到客户端节点，例如上传到“/opt/client/sparkdemo”目录下。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HD
jar”。 步骤3：上传jar包及源数据 将编译后的jar包上传到客户端节点，例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HD
restart策略。 如果用户在作业失败后，希望对作业进行重试，推荐使用failure-rate策略。因为fixed-delay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数，从而导致作业失败。 为了防止在failure-rate策略下的无限重启，推荐如下参数配置：
按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。
为了提高导入数据速度，需要确保以下条件： 每个Map连接时，相当于一个客户端连接，因此需要确保SFTP服务器最大连接数大于Map数量。 确保SFTP服务器上的磁盘IO或是网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小，单位为MB。参数值必须大于或
登录VPC管理控制台。 单击“虚拟私有云”，从左侧列表选择虚拟私有云。 单击对应虚拟私有云所在行的“子网个数”查看子网。 单击对应子网名称，获取“网络ID”。 约束限制： “subnet_id”和“subnet_name”必须至少填写一个，当这两个参数同时配置但是不匹配同一个子网时，集群
时，每一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程
BlockManager.logAddStoredBlock(BlockManager.java:2393) DataNode上报块写成功通知延迟的原因可能有：网络瓶颈导致、CPU瓶颈导致。 如果此时再次调用close或者close的retry的次数增多，那么close都将返回成功。建议适当增大参数dfs
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与MRS集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。 图3 集群列表 如果用户对本地数据源的访
ZhangSan LiSi WangwWU Tom Jemmmy LinDa 将编译后的jar包上传到客户端节点，例如上传到“/opt”目录。 如果本地网络无法直接连接客户端节点上传文件，可先将jar文件或者源数据上传至OBS文件系统中，然后通过MRS管理控制台集群内的“文件管理”页面导入HD
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
