检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据业务需要选择合适的MRS集群类型。 分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。 流式集群:用于流式数据处理任务,对实时数据源进行快速分析,主要包含Kafka、Flume等流式数据处理组件。
址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已安装客户端时编译并运行程序
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC次数超出阈值,会影响JDBCServer2x进程运行的性能,甚至造成JDBCServer2x进程不可用,Spark JDBC任务执行变慢或失败。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。 对系统的影响 数据丢失:设备分区丢失,可能导致客户保存在这个分区上的数据丢失。 系统崩溃:如果丢失的是系统盘可能导致客户此节点系统运行异常,严重时导致系统崩溃无法正常开机运行。
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的数量使用率已经超过规定的阈值,如果不及时处理,可能会导致问题级别升级为紧急,最终导致数据写入失败。
在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。 弹性伸缩规则:根据集群实时负载对Task节点数量进行调整,数据量变化后触发扩缩容,有一定的延后性。 资源计划(按时间段设置Task节点数量范围):
址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已安装客户端时编译并运行程序
更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Broker单个实例的存储目录需要重新启动实例,该节点Broker实例重启时无法提供服务。
更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Broker单个实例的存储目录需要重新启动实例,该节点Broker实例重启时无法提供服务。
从操作系统镜像中获取缺少的rpm包,并上传文件到当前目录,然后执行以下命令安装rpm包: rpm -ivh *.rpm 安装的RPM包可能带来安全风险,请用户对操作系统进行加固时考虑安装这些RPM包所带来的风险。 安装完成后执行5。 执行以下命令,配置pam使用Kerberos认证。 pam-config
k/jars/streamingClient010/*:{ClassPath} 开发思路 接收Kafka中数据,生成相应DStream。 对单词记录进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:主机文件句柄使用率超过阈值时,系统应用无法打开文件、网络等IO操作,程序异常,可能会导致作业运行失败。 可能原因 应用
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ResourceManager可用直接内存不足,可能会造成内存溢出导致服务崩溃。 可能原因 该节点ResourceManager
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase可用的直接内存不足,可能会造成节点重启。在节点重启过程中,该节点上的读写请求时延会变大或者失败。 可能原因 该节点HB
产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 主机上业务无法发起对外建立连接,业务中断。 可能原因 临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 提示用户证书文件即将过期,如果证书文件过期,则会导致部分功能受限,无法正常使用。 可能原因 系统证书文件(CA证书、HA根证书或
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Threshold 产生告警的阈值。 对系统的影响 RegionServer WAL写入超时个数超过阈值,会增加写操作的延迟,数据写入速度变慢,并且WAL写入超时过多可能导致数据写入性能严重下降。
在指定作业调度行的“权限”列,勾选“编辑”。 除了“管理员”权限,以上权限只针对存量的资源信息进行权限配置。 未设置以上角色的用户也可以创建任务、分组、连接器,但是无法对存量的资源进行操作。 单击“确定”完成,返回“角色”。 父主题: Loader用户权限管理
在指定作业调度行的“权限”列,勾选“编辑”。 除了“管理员”权限,以上权限只针对存量的资源信息进行权限配置。 未设置以上角色的用户也可以创建任务、分组、连接器,但是无法对存量的资源进行操作。 单击“确定”完成,返回“角色”。 父主题: 使用Loader
Spark2x/spark/jars/streamingClient010/* 开发思路 接收Kafka中数据,生成相应DStream。 对单词记录进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。