检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性
Flink向Kafka生产并消费数据应用开发思路 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。Flink向Kafka组件发送数据（需要
Doris多租户监控告警介绍 Doris多租户基于内核Workload Group资源软限制方案实现，Workload Group只是限制组内任务在单个BE节点上的计算资源和内存资源的使用，所以租户没有整体资源池的概念，而是在执行查询任务时，动态的在各个BE节点上进行资源分配。
Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HDFS组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见准备Storm应用开发环境。
Storm-OBS开发指引 操作场景 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm已经安装，并正常运行。 将storm-examples导入到Eclipse开发环境，请参见导入并配置Storm样例工程。
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能，以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时，需要为HBase上层应用配置备集群信息，才可以使得该应用在备集群上运行。 对系统的影响 切换业务后，写入备集群的数据默
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能，以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时，需要为HBase上层应用配置备集群信息，才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响
配置Guardian服务对接OBS 操作场景 该章节指导用户开启Guardian组件存算分离操作。开启后Guardian可以在存算分离场景下为HDFS、Hive、Spark、Loader、HetuEngine等服务提供访问OBS的临时认证凭据。 配置Guardian服务对接OBS主要操作如下：
Kafka日志介绍 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var/log/Bigdata/kafka/broker”（运行日志）
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访
配置FlinkServer作业中添加第三方依赖jar 本章节适用于MRS 3.3.0及之后的版本。 Flink支持通过第三方依赖包来运行自定义Flink作业。可以在Flink WebUI界面中上传并管理依赖jar包，然后在运行作业时调用对应依赖。依赖管理暂不支持“语义”校验功能，
Flink开启Checkpoint样例程序（Java） 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 import java.io.Seriablizale;
Flink开启Checkpoint样例程序（Java） 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 import java.io.Seriablizale;
Flink开启Checkpoint样例程序（Java） 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 import java.io.Seriablizale;
配置MRS集群组件回收站目录清理策略 操作场景 在MRS 3.2.0-LTS.1及后续版本中，MRS集群内组件默认支持数据防误删策略，在基于OBS的Hadoop大数据系统中，客户可以兼容使用Hadoop FS原生的垃圾回收功能。 组件用户删除的文件数据并不会直接被删除，而是会保存
Loader基本原理 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
Flink开启Checkpoint样例程序（Java） 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 下面代码片段仅为演示，完整代码参见FlinkCheckp
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程：
切换MRS租户资源调度器 操作场景 新安装的MRS集群默认即使用了Superior调度器，集群管理员可以根据实际情况参考以下指导切换集群调度器。 前提条件 确保集群网络通畅，网络环境安全，Yarn服务状态正常。 在切换调度器期间，不允许做添加、删除、修改租户，以及启停服务等操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
