检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
Fields("word")); return builder; } 如果拓扑开启了ack,推荐acker的数量不大于所设置的worker数量。 父主题: 开发Storm应用
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:On
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:On
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:On
解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:On
timeout akka通信超时时间,通过-yD添加。 240s 必填 taskmanager.memory.segment-size 内存管理和网络栈使用的内存缓冲块字节数大小,默认值: 32768 (32KB),通过-yD添加。 64kb 选填 taskmanager.network
Hudi应用开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例
安装Flume客户端 安装MRS 3.x之前版本Flume客户端 安装MRS 3.x及之后版本Flume客户端 父主题: 使用Flume
MRS集群Task节点弹性伸缩 MRS集群Task节点弹性伸缩概述 添加MRS集群Task节点弹性伸缩策略 管理MRS集群弹性伸缩策略 父主题: MRS集群容量调整
使用CDL CDL数据集成概述 CDL用户权限管理 快速使用CDL创建数据同步作业 创建CDL作业前准备 创建CDL作业 CDL作业数据DDL变更说明 CDL日志介绍 CDL常见问题 CDL故障排除
reaming应用会多一个Streaming标签页。 页面入口:请参考登录MRS Manager登录MRS Manager页面,选择“服务管理 > Yarn”,单击“ResourceManager Web UI”对应的“ResourceManager”进入Web界面,查找到对应的
分布式模式下,应注意Driver和Executor之间的参数传递 在Spark编程时,总是有一些代码逻辑中需要根据输入参数来判断,这种时候往往会使用这种方式,将参数设置为全局变量,先给定一个空值(null),在main函数中,实例化SparkContext对象之前对这个变量赋值。然而,在分布式模式下,执行
109 seconds) 0: jdbc:hive2://192.168.169.84:22550/default> 回答 Spark的表管理层次如图1所示,最底层是Spark的临时表,存储着使用DataSource方式的临时表,在这一个层面中没有数据库的概念,因此对于这种类型表,表名在各个数据库中都是可见的。
WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节,以及提供日志显示,帮助用户更细粒度地去开发、配置和调优作业。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。
JOIN employees_contact b ON (a.id = b.id) WHERE b.email like '%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。Sequenc
快速使用HBase进行离线数据分析 使用BulkLoad工具向HBase迁移数据 HBase数据操作 HBase企业级能力增强 HBase性能调优 HBase运维管理 HBase常见问题 HBase故障排除
快速使用HBase进行离线数据分析 使用BulkLoad工具向HBase迁移数据 HBase数据操作 HBase企业级能力增强 HBase性能调优 HBase运维管理 HBase常见问题 HBase故障排除
109 seconds) 0: jdbc:hive2://192.168.169.84:22550/default> 回答 Spark的表管理层次如图1所示,最底层是Spark的临时表,存储着使用DataSource方式的临时表,在这一个层面中没有数据库的概念,因此对于这种类型表,表名在各个数据库中都是可见的。
创建MRS集群时计价器为什么未显示价格? 问题 创建MRS集群时计价器为什么未显示价格? 回答 只选择磁盘个数,没有选择集群虚拟机实例个数时,产品报价是不会产生收费的;需要客户选择实例个数,产品报价会在浏览器下方即时显示出来。 父主题: 计费FAQ