检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争
面,请参考6~9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 添加安全组规则会在“安全组 > 入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。
应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。 配置描述 参数入口: 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称,修改并保存配置。然后在Yarn服务“概览”页面选择“更多
应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。 配置描述 参数入口: 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称,修改并保存配置。然后在Yarn服务“概览”页面选择“更多
Frame。DataFrame是Spark SQL中的最基本的概念,可以通过多种方式创建,例如结构化的数据集、Hive表、外部数据库或者RDD。 Spark SQL的程序入口是SQLContext类(或其子类),创建SQLContext时需要一个SparkContext对象作为其构造参数。SQLContext其
自动创建。 如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 系统添加的安全组规则会在“安全组 > 入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。
自动创建。 如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 系统添加的安全组规则会在“安全组 > 入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。
析。 SparkSession原理 SparkSession是Spark编程的统一API,也可看作是读取数据的统一入口。SparkSession提供了一个统一的入口点来执行以前分散在多个类中的许多操作,并且还为那些较旧的类提供了访问器方法,以实现最大的兼容性。 使用构建器模式创建
服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。 在HBase全部配置界面查看参数。 配置入口 配置项 默认值 描述 “HMaster > 系统” hbase.coprocessor.master.classes org.apache
“全部配置”,进入HBase服务参数“全部配置”界面。 在HBase全部配置界面查看相关参数。 表1 HBase Index相关参数 配置入口 配置项 默认值 描述 “HMaster > 系统” hbase.coprocessor.master.classes org.apache
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka基本原理
记录进程启动过程中执行的命令信息。 进程启动异常日志 记录进程启动失败时产生异常的信息,如依赖服务错误、资源不足等 进程运行日志 记录进程运行信息及调试信息,如函数入口和出口打印、模块间接口消息等。 进程运行异常日志 记录导致进程运行时错误的错误信息,如输入对象为空、编解码失败等错误。 进程运行环境信息日志
击“搜索”。 界面将显示当前集群未清除的告警。 集群发生告警后如何清除? 集群发生告警后,可以查看对应告警的帮助文档进行处理。帮助文档查看入口如下: 管理控制台:登录MRS管理控制台,单击待操作的集群名称,选择“告警管理”页签,在告警列表中单击对应操作列的“查看帮助”。然后参考对应告警帮助文档处理步骤进行处理。