检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
namesever 10.2.3.4 是，执行5。 否，执行7。 执行vi /etc/resolv.conf命令，将内容全部用“#”注释，并保存文件。 # namesever 10.2.3.4 # namesever 10.2.3.4 等待5分钟，查看告警是否恢复。 是，操作结束。
会经常出现超时导致任务失败的场景。在大数据量场景下，需调大Spark中的超时参数。 表23 参数说明 参数 描述 默认值 spark.files.fetchTimeout 获取通过驱动程序的SparkContext.addFile()添加的文件时的通信超时（秒）。 60s spark
配置组件隔离访问Hive MetaStore 操作场景 MRS 3.2.0及之后的版本支持此功能，此功能用于限制集群内组件连接指定的Hive MetaStore实例，组件默认可连接所有MetaStore实例。 目前集群中支持连接MetaStore的组件有HetuEngine、Hi
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
查看MRS集群事件 事件列表显示了集群中的所有事件信息，如重启服务、停止服务等。 事件列表默认按时间顺序排列，时间最近的事件显示在最前端。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
CREATE FUNCTION 语法 CREATE FUNCTION qualified_function_name ( parameter_name parameter_type [, ...] ) RETURNS return_type [ COMMENT function_description
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置，选择“集群 > 服务 > Flume > 配置工具”，
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件，用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端，例如客户端安装目录为“/opt/client”。 如果集群
查看HetuEngine实例监控页面 在HetuEngine的WebUI界面，可以查看指定业务的详细信息，包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager，选择“集群
myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip获取Spark样例数据到本地。 将下载的“detail-records.zip”解压，获取图3所示的样例数据。 图3 样例数据 进入“input”文件夹，单击“上传文件”，选择本地存放的Spark样例数据。
设置后需要重启服务生效，且不支持滚动重启。 设置后需要重新下载客户端配置，否则HDFS无法提供读写服务。 设置后需要重启executor，否则将导致管控面作业管理及文件管理功能不可用。 设置Hadoop中各模块的RPC通道是否加密。通道包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通
查看“${BIGDATA_HOME}/FusionInsight_HD_8.1.0.1/1_23_HiveServer/etc/hive-site.xml”文件中“hive.server2.async.exec.threads”数量，适当增大该数值（如：增大原数值的20%）。 保存更新配置。 查看本告警是否恢复。
数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在，则手动添加该参数项。 表1 参数说明 参数
File Channel：基于WAL（预写式日志Write-Ahead Logging）的持久化实现。 JDBC Channel：基于嵌入Database的持久化实现。 Channel支持事务，可提供较弱的顺序保证，可以和任何数量的Source和Sink工作。 Sink Sink负责将
如何开发Flume第三方插件 安装Flume客户端，如安装目录为“/opt/flumeclient”。 将自主研发的代码打成jar包。 建立插件目录布局。 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下，使用以下命令建立目录，可根据实际业务进行命名，无固定名称：
如何开发Flume第三方插件 该操作指导用户进行第三方插件二次开发。 本章节适用于MRS 3.x及之后版本。 将自主研发的代码打成jar包。 安装Flume服务端或者客户端，如安装目录为“/opt/flumeclient”。 建立插件目录布局。 进入“Flume客户端安装目录/f
Flink常见SQL语法说明 SELECT与WHERE语句 根据where子句对数据进行过滤。 语法： SELECT select_list FROM table_expression [ WHERE boolean_expression ] 示例： SELECT price +
GROUP BY GROUP BY GROUP BY将SELECT语句的输出行划分成包含匹配值的分组。简单的GROUP BY可以包含由输入列组成的任何表达式，也可以是按位置选择输出列的序号。 以下查询是等效的： SELECT count(*), nationkey FROM customer
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
