检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时，MRS集群如何进行操作系统漏洞升级？ 问题现象 在使用安全软件测试集群时，发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中，因此需要进行漏洞升级。 处理步骤 修
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
通过数据治理中心DataArts Studio，用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。 目前MRS集群支持在线创建如下几种类型的作业： Map
HBase启动后，HMaster原生页面显示RegionServer个数多于实际RegionServer个数。 查看HMaster原生页面，显示有4个RegionServer在线，如下图示： 原因分析 如下图可以看出，第三行hostname为controller-192-168-1-3节点和第四行hostname为
编辑连接 在Loader页面，单击“管理连接”。 单击指定连接的名称，进入编辑页面。 根据业务需要，修改连接配置参数。 单击“测试”。 如果显示测试成功，则执行5；如果显示不能连接至OBS Server，则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Load
address=5055,suspend=n,server=y，保存配置后重启相关实例。 调试Storm程序需要先修改指定的服务端参数，并在重启服务后生效，建议在测试环境上进行调测。 提交拓扑后，在Storm UI上进入到Topology界面，再单击进入要调试组件界面。 图1 进入拓扑的Component界面
创建CarbonData Table的建议 操作场景 本章节根据超过50个测试用例总结得出建议，帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
创建高查询性能的CarbonData表 操作场景 本章节根据超过50个测试用例总结得出建议，帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
length exceeds 2147483647: 2717729270 - discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 服务 >
address=5055,suspend=n,server=y，保存配置后重启相关实例。 调试Storm程序需要先修改指定的服务端参数，并在重启服务后生效，建议在测试环境上进行调测。 提交拓扑后，在Storm UI上进入到Topology界面，再单击进入要调试组件界面。 图1 进入拓扑的Component界面
length exceeds 2147483647: 2717729270 - discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称
务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查询效率获得倍数提升，同时有效降低系统负载压力。 前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine W
查看MRS组件角色实例日志 MRS集群创建成功后，用户可以通过Manager界面在线直接查看组件各角色实例的日志内容并下载指定日志文件，便于快速定位分析问题。 本章节操作仅支持MRS 3.x及之后的版本。 查看角色实例日志 登录FusionInsight Manager。 选择“集群
SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在MRS集群的管理控制台上提交并查看SparkSql作业为例进行说明。
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。 Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高
息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构
息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
