检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于开发Kafka应用程序的工具。 网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题： 准备Kafka应用开发环境
主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的备Manager服务器地址。 登录主管理节点。 执行以命令，检查备Manager服务器是否可达。 ping 备Manager心跳IP地址
public FileStatus getFileStatus(Path f) 通过该接口可以获取文件或目录的FileStatus对象，该对象记录着该文件或目录的各种状态信息，其中包括修改时间、文件目录等等。 public BlockLocation[] getFileBlo
MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider：通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvi
图4 句柄数 排查业务代码，不停地创建新的Producer对象，未正常关闭。 解决办法 停止当前应用，保证服务端句柄不再疯狂增加影响服务正常运行。 优化应用代码，解决句柄泄露问题。 建议：全局尽量使用一个Producer对象，在使用完成之后主动调用close接口进行句柄关闭。 父主题：
修改并行度。 调用rebalance操作，使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”，会等待缓冲
-o命令安装客户端。 如果需要安装客户端的服务器在集群内，则无需指NTP服务器模式，即执行./install.sh /opt/hadoopclient命令安装客户端。 如果需要安装客户端的服务器在集群外，且本服务器上NTP服务器模式与集群内NTP服务器模式一致，即执行./install.sh
安装MRS 3.x及之后版本Flume客户端 操作场景 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x及之后版本。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。
在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为新申请的弹性云服务器的IP地址，设置“主机端口”为“22”，并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改，请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。
系统策略较多时，可通过策略名称、类型、组件、资源对象、策略标签、安全区域、用户或用户组等信息进行过滤搜索，也可以单击“Export”导出相关策略内容。 对于同一个固定资源对象通常只能配置一条策略，多条策略针对的具体资源对象重复时将无法保存。 配置策略时，不同条件的优先级可参考Ranger权限策略条件判断优先级。
6版本（CentOS 7.6） 同时为弹性云服务分配足够的磁盘空间，例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。 如果未安装，在配置了yum源的情况下，可执行yum
"org.apache.storm.kafka.bolt.KafkaBolt" configMethods: #使用调用对象内部方法的形式初始化对象 - name: "withTopicSelector" #调用的内部方法名 args: #内部方法需要的入参
系统策略较多时，可通过策略名称、类型、组件、资源对象、策略标签、安全区域、用户或用户组等信息进行过滤搜索，也可以单击“Export”导出相关策略内容。 对于同一个固定资源对象通常只能配置一条策略，多条策略针对的具体资源对象重复时将无法保存。 配置策略时，不同条件的优先级可参考Ranger权限策略条件判断优先级。
split(…); return …; } } 错误示例： //定义对象。 object Test { // 定义全局变量，赋为空值（null）；在main函数中，实例化SparkContext对象之前对这个变量赋值。 private var testArg: String
操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。
节点名配置错误。 防火墙禁用端口。 处理步骤 检查主备Manager服务器间的网络是否正常。 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看该告警的备Manager服务器（即Peer Manager）IP地址。 以root用户登
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（application/job）通常会把
MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力，支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中，后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
