检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45446 ClickHouse的mutation任务长时间未执行完成 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统每隔5分钟检测一次mutation任务，当检测到有正在执行的mutation任务且运行时间大于等于阈值slow_mutation_cost_
mapPartitions接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构
使用Loader从HDFS导出数据到ClickHouse 本章节适用于MRS 3.3.0及以后版本。 操作场景 该任务指导用户使用Loader将文件从HDFS导出到ClickHouse。 前提条件 在FusionInsight Manager创建一个角色，添加ClickHouse
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Spark Structured Streaming状态操作样例程序开发思路 场景说明 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp； 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据（需要有Kafka权限用户）
Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例
Mapreduce应用开发规则 继承Mapper抽象类实现 在Mapreduce任务的Map阶段，会执行map()及setup()方法。 正确示例： public static class MapperClass extends Mapper<Object, Text, Text
启用MRS集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用，复制数据的集群双方都需要配置。 管理员可以根据以下指导，在Manager修改参数以启用集群间拷贝功能，启用
0/conf/flume_cChat.jks keystore-password 密钥库密码，获取keystore信息所需密码。 输入4.c中获取的“password”值。 - truststore 服务端的SSL证书信任列表。 /opt/flume-client/fusionInsight-flume-1
0/conf/flume_cChat.jks keystore-password 密钥库密码，获取keystore信息所需密码。 输入4.c中获取的“password”值。 - truststore 服务端的SSL证书信任列表。 /opt/flume-client/fusionInsight-flume-1
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台，全面覆盖数据分析过程中的各个环节，轻松完成全流程数据分析任务，包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等，极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.9 发布时间 2024-06-30 解决的问题 MRS 3.2.0-LTS.1.9修复问题列表： 解决HetuEngine查询gauss date字段报错的问题。 解决HetuEngine计算实例在Yarn上启动失败的问题。
Hive WebHCat接口介绍 以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。 除“:version”、“status”、“version”、“version/hive”、“version/hadoop”以外，其他API都需要添加user
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topi
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
使用Kafka生产消费数据 操作场景 用户可以通过MRS集群客户端完成Kafka Topic的创建、查询、删除等操作，也可以通过登录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时：已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
创建FlinkServer作业写入数据至HDFS文件系统 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍HDFS作为sink表的DDL定义，以及创建sink表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
MRS集群日志概述 日志描述 MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表： 表1 日志分类一览表 日志类型 日志描述 安装日志 安装日志记录了Manager、集群和服务安装的程序信息，可用于定位安装出错的问题。 运行日志 运行日志记录了集群各服
0.1 执行命令创建补丁目录并解压补丁包： mkdir /opt/{补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{补丁版本号} 补丁升级/回退 执行客户端补丁升级： 登录客户端所在节点 cd /opt/{补丁版本号}/client sh upgrade_client
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
