检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false”,则表示集群不支持此功能,需要按照如下操作增加该参数或修改参数值进行开启。 本章节操作适用于MRS 3.x及之后版本。
修改集群域名后无法登录Manager页面 问题现象 用户修改域名后,通过console页面无法登录MRS Manager页面,或者登录MRS Manager页面异常。 原因分析 用户修改域名后,没有刷新executor用户的keytab文件,导致executor进程认证失败后不断循环认证,导致了acs进程内存溢出。
x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界
修改CarbonData Table SET和UNSET 当使用set命令时,所有新set的属性将会覆盖已存在的旧的属性。 SORT SCOPE SET SORT SCOPE命令示例: ALTER TABLE tablename SET TBLPROPERTIES('SORT_SCOPE'='no_sort')
park应用(包括正在运行的应用和已经完成的应用),每个应用的信息如下表1。 表1 应用常用信息 参数 描述 id 应用的ID name 应用的Name attempts 应用的尝试,包含了开始时间、结束时间、执行用户、是否完成等信息 获取JobHistory中某个应用的信息: 命令:
修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理? 问: 修改hdfs-site.xml文件后未重启NameNode进程却产生了告警如何处理? 答: 用户修改了比如dfs.namenode.checkpoint.period参数后,如果不重启Na
Kafka应用开发规则 调用Kafka API(AdminZkClient.createTopic)创建Topic 对于Java开发语言,正确示例: import kafka.zk.AdminZkClient; import kafka.zk.KafkaZkClient; import
修改MRS集群组件数据库用户密码 该任务指导用户定期修改组件数据库用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启服务,服务在重启时无法访问。 修改MRS集群组件数据库用户密码(MRS 3.1.0版本) 该操作仅适用于MRS 3.1.0版本,MRS 3.1.0之
元。一个应用根据执行计划以及计算量分为多个Task。 Spark原理 Spark的应用运行架构如图2所示,运行流程如下所示: 应用程序(Application)是作为一个进程的集合运行在集群上的,由Driver进行协调。 在运行一个应用时,Driver会去连接集群管理器(Stan
中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-rest-client-examples”中右键单击“ClickHouseApplication”,选择“Run ClickHouseApplication”运行应用程序工程。
数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。 单词拆分逻辑将数据源发送的每条文本按空格进行拆分,如“apple”,“orange”,“apple”,随后将每个单词逐一发给单词统计逻辑。 单词统计逻辑每收到一个单词就进行加一操作,并将实时结果打印输出,如: apple:1 orange:1
正常,则ApplicationMaster会正常退出。 若超过重试次数和重试时长,则ApplicationMaster注销失败,ResourceManager会认为ApplicationMaster异常退出并尝试重新启动ApplicationMaster。新启动的Applicat
正常,则ApplicationMaster会正常退出。 如果超过重试次数和重试时长,则ApplicationMaster注销失败,ResourceManager会认为ApplicationMaster异常退出并尝试重新启动ApplicationMaster。新启动的Applica
修改CarbonData表 SET和UNSET 当使用set命令时,所有新set的属性将会覆盖已存在的旧的属性。 SORT SCOPE SET SORT SCOPE命令示例: ALTER TABLE tablename SET TBLPROPERTIES('SORT_SCOPE'='no_sort')
数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。 单词拆分逻辑将数据源发送的每条文本按空格进行拆分,如“apple”,“orange”,“apple”,随后将每个单词逐一发给单词统计逻辑。 单词统计逻辑每收到一个单词就进行加一操作,并将实时结果打印输出,如: apple:1 orange:1
park应用(包括正在运行的应用和已经完成的应用),每个应用的信息如下表1。 表1 应用常用信息 参数 描述 id 应用的ID name 应用的Name attempts 应用的尝试,包含了开始时间、结束时间、执行用户、是否完成等信息 获取JobHistory中某个应用的信息: 命令:
数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。 单词拆分逻辑将数据源发送的每条文本按空格进行拆分,如“apple”,“orange”,“apple”,随后将每个单词逐一发给单词统计逻辑。 单词统计逻辑每收到一个单词就进行加一操作,并将实时结果打印输出,如: apple:1 orange:1
中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-rest-client-examples”中右键单击“ClickHouseApplication”,选择“Run ClickHouseApplication”运行应用程序工程。
选择“服务管理 > Yarn > 服务配置”将“参数类别”修改为“全部配置”。 在“搜索”栏输入“yarn.scheduler.maximum-allocation-mb”修改参数并保存重启服务。如下图所示: 图1 修改Yarn服务参数 FusionInsight Manager界面操作:
name="dynamic.classpath" value="true" />” ,如图1。 图1 修改“ .idea\workspace.xml”文件 父主题: Storm应用开发常见问题