检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
算子帮助 概述 输入算子 转换算子 输出算子 关联、编辑、导入、导出算子的字段配置信息 配置项中使用宏定义 算子数据处理规则 父主题： 使用Loader
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端程序开发的流程说明 阶段 说明 参考文档 了解基本概念
Spark Structured Streaming样例程序（Java） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
查看MRS集群监控指标 查看MRS集群资源监控指标 查看MRS集群组件监控指标 查看MRS集群节点资源监控指标 配置MRS集群监控指标数据转储 父主题： MRS集群运维
HTML输入 概述 “HTML输入”算子，导入有规则的HTML文件，并将HTML文件中的元素转换成输入字段。 输入与输出 输入：HTML文件 输出：多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签，用于限定搜索范围 string
开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题： Kafka开发指南（安全模式）
开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题： Kafka开发指南（普通模式）
HDFS日志介绍 日志描述 日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（审计日志）。
Flink Job Pipeline样例程序（Java） 下面列出的主要逻辑代码作为演示。 完整代码请参阅： com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipelineNettySink。
Flink Job Pipeline样例程序（Java） 下面列出的主要逻辑代码作为演示。 完整代码请参阅： com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Flink Job Pipeline样例程序（Java） 下面列出的主要逻辑代码作为演示。 完整代码请参阅： com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipelineNettySink。
Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark应用调优
ALM-12033 慢盘故障（2.x及以前版本） 告警解释 MRS 2.x及以前版本： 对于HDD盘，满足以下任意条件时触发告警： 系统每3秒执行一次iostat命令，在30秒内连续10周期svctm值超过1000ms。 系统每3秒执行一次iostat命令，在300秒内有超过60%的IO超过150ms。
无业务情况下，RegionServer占用CPU高 问题背景 无业务情况下，RegionServer占用CPU较高。 原因分析 通过top命令获取RegionServer的进程使用CPU情况信息，查看CPU使用率高的进程号。 根据RegionServer的进程编号，获取该进程下线程使用CPU情况。
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
MRS集群容量调整 扩容MRS集群 扩容MRS集群节点数据盘 缩容MRS集群 缩容ClickHouseServer节点 退订MRS包周期集群指定节点 MRS集群Task节点弹性伸缩 父主题： MRS集群运维
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 Flink作业RocksDB状态后端调优 配置Flink作业状态后端冷热数据分离存储 父主题： 使用Flink
使用IoTDB IoTDB支持的数据类型和编码 IoTDB用户权限管理 IoTDB客户端使用实践 快速使用IoTDB 创建IoTDB用户自定义函数（UDF） IoTDB性能调优 IoTDB运维管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
