检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤 修
除集群前,建议完成数据搬迁或者备份,确认集群无任何业务运行或者集群异常且经运维分析无法继续提供服务时再执行集群删除操作。对于数据存放在云硬盘EVS或直通盘的大数据集群,集群删除后,数据也随之删除,强烈建议您慎重选择删除集群。 父主题: 集群管理
/dev/sd[x]命令检查硬件是否支持smart。 例如执行: smartctl -i /dev/sda 如果命令执行结果中包含“SMART support is: Enabled”,表示磁盘支持smart;执行结果中包含“Device does not support SMART”或者其他,表示磁盘不支持smart。
编辑连接 在Loader页面,单击“管理连接”。 单击指定连接的名称,进入编辑页面。 根据业务需要,修改连接配置参数。 单击“测试”。 如果显示测试成功,则执行5;如果显示不能连接至OBS Server,则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Load
步骤1:创建MRS集群:创建一个包含有Flink组件的MRS集群。 步骤2:准备测试数据:准备用于进行分析的源数据及程序,并上传至OBS。 步骤3:创建并运行Flink作业:在MRS集群中创建Flink作业并运行。 步骤4:查看作业执行结果:查看数据分析结果。 图2 操作流程 步骤1:创建MRS集群 创建并购
在Hue界面中查询Oozie作业结果 操作场景 提交作业后,可以通过Hue界面查看具体作业的执行情况。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 单击菜单左侧的,在打开的页面中可以查看Workflow、计划、Bundles任务的相关信息。 默认显示当前集群的所有作业。
创建CarbonData Table的建议 操作场景 本章节根据超过50个测试用例总结得出建议,帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
address=5055,suspend=n,server=y,保存配置后重启相关实例。 调试Storm程序需要先修改指定的服务端参数,并在重启服务后生效,建议在测试环境上进行调测。 提交拓扑后,在Storm UI上进入到Topology界面,再单击进入要调试组件界面。 图1 进入拓扑的Component界面
创建高查询性能的CarbonData表 操作场景 本章节根据超过50个测试用例总结得出建议,帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
length exceeds 2147483647: 2717729270 - discarded 例如,SparkSQL运行TPCDS 500G的测试时,使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口: 在Manager系统中,选择“集群 > 服务 >
ResourceManager Web UI页面 查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar mapreduce-example.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。例如: yarn jar mapreduce-example
在Hue界面中查询Oozie作业结果 操作场景 提交作业后,可以通过Hue界面查看具体作业的执行情况。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 单击菜单左侧的,在打开的页面中可以查看Workflow、计划、Bundles任务的相关信息。 默认显示当前集群的所有作业。
length exceeds 2147483647: 2717729270 - discarded 例如,SparkSQL运行TPCDS 500G的测试时,使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称
address=5055,suspend=n,server=y,保存配置后重启相关实例。 调试Storm程序需要先修改指定的服务端参数,并在重启服务后生效,建议在测试环境上进行调测。 提交拓扑后,在Storm UI上进入到Topology界面,再单击进入要调试组件界面。 图1 进入拓扑的Component界面
使用SessionPool进行查询时,得到的结果集是SessionDataSet的封装类SessionDataSetWrapper。 若对于一个查询的结果集,用户并没有遍历完且不再想继续遍历时,需要手动调用释放连接的操作closeResultSet。 若对一个查询的结果集遍历时出现异常,也需要手动
使用SessionPool进行查询时,得到的结果集是SessionDataSet的封装类SessionDataSetWrapper。 若对于一个查询的结果集,用户并没有遍历完且不再想继续遍历时,需要手动调用释放连接的操作closeResultSet。 若对一个查询的结果集遍历时出现异常,也需要手动
sql.uselocalFileCollect开启的情况下生效。直接序列化的方式,还是间接序列化的方式保存结果数据到磁盘。 优点:针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点:和spark.sql.uselocalFileCollect开启时候的缺点一样。
sql.uselocalFileCollect开启的情况下生效。直接序列化的方式,还是间接序列化的方式保存结果数据到磁盘。 优点:针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点:和spark.sql.uselocalFileCollect开启时候的缺点一样。
在Linux环境中查看Spark程序调测结果 操作场景 Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储
变更计费模式。详细介绍请参见变更计费模式概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器,云硬盘)组成。如需了解每种计费项的计费因子、计费公式等详细信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。