检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
Spark Structured Streaming样例程序（Python） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：
Spark Structured Streaming样例程序（Python） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：
FileOutputFormat.setOutputPath(job, new Path(baseDir, OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text
Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 加载空的part文件时，app无法显示在JobHistory的页面上
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
FileOutputFormat.setOutputPath(job, new Path(baseDir, OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text
添加GBase数据源 本章节适用于MRS 3.5.0及之后的版本。 HetuEngine支持配置GBase数据源实现对GBase数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加GBase类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后，用户可以通过Flink的WebUI，在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink We
Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件，用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端，例如客户端安装目录为“/opt/client”。 如果集群
如何在Flume配置文件中使用环境变量 本章节描述如何在配置文件“properties.properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 安装Flume客户端。 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户
ALM-12099 发生core dump 告警解释 GaussDB A提供了core文件管理特性，对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时，会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群
版本概述 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Pr
JDBCServer长时间运行导致磁盘空间不足 用户问题 连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上，在运行一段时间以后会出现Core节点的数据盘被占满的情况。 问题现象 客户连接Spark的JDBCServer服务提交spark-sql任
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
