检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark
输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits
自动弹性伸缩 特性简介 随着企业的数据越来越多，越来越多的企业选择使用Spark/Hive等技术来进行分析，由于数据量大，任务处理繁重，资源消耗较高，因此使用成本也越来越高。当前并不是每个企业在每时每刻在进行分析，而一般是在一天的一个时间段内进行分析汇总，因此MRS提供了弹性伸缩能力
使用ZooKeeper客户端 ZooKeeper是一个开源的，高可靠的，分布式一致性协调服务。ZooKeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以外的客户端
ALM-19019 HBase容灾等待同步的HFile文件数量超过阈值 告警解释 系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的HFile文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步
loader-tool工具使用指导 概述 loader-tool工具是Loader客户端工具之一，包括“lt-ucc”、“lt-ucj”、“lt-ctl”三个工具。 Loader支持通过参数选项或作业模板这两种方式，对连接器进行创建、更新、查询和删除，以及对Loader作业进行创建
loader-tool工具使用指导 概述 loader-tool工具是Loader客户端工具之一，包括“lt-ucc”、“lt-ucj”、“lt-ctl”三个工具。 Loader支持通过参数选项或作业模板这两种方式，对连接器进行创建、更新、查询和删除，以及对Loader作业进行创建
使用Presto客户端执行查询语句 用户可以根据业务需要，在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群，需要提交拓扑的用户属于“presto”组。 MRS 3.x版本Presto组件暂不支持开启Kerberos认证。 前提条件 获取用户“admin”账号密码
开发Hive用户自定义函数 当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF分为有如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。
FlinkIoTDBSource样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb source，通过flink job将时序数据从IoTDB读取出来并且打印。 代码样例 该示例演示了Flink job 如何从IoTDB server读取时序数据的场景： Flink
ALM-12052 TCP临时端口使用率超过阈值 告警解释 系统每30秒周期性检测TCP临时端口使用率，并把实际使用率和阈值（系统默认阈值80%）进行比较，当检测到TCP临时端口使用率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称
ALM-19020 HBase容灾等待同步的wal文件数量超过阈值 告警解释 系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的wal文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步wal文件数量超出阈值
ALM-45643 RocksDB的MemTable大小持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业
ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration
ALM-38013 Produce请求在请求队列的时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Produce请求在请求队列的时延，当检测到某个Broker上的Produce请求在请求队列的时延连续10次超出阈值时产生该告警。 当Produce请求在请求队列的时延小于或等于阈值时
查看MRS集群已修改的组件配置参数 MRS支持一键查看集群内各服务配置参数的变动情况，方便用户快速排查定位问题，提升配置管理效率。 用户可通过MRS 3.x版本集群Manager界面快速查看集群内各服务所有非初始默认值、同一角色实例之间非统一值、集群配置修改的历史记录、集群内当前配置状态为过期的参数
使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert
ALM-12085 服务审计日志转储失败 告警解释 系统每天凌晨三点启动服务审计日志转储，将服务审计日志备份到OMS节点，如果转储失败，则发送告警。当下一次转储成功，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12085 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称
ALM-14014 NameNode进程垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测NameNode进程的垃圾回收（GC）占用时间，当检测到NameNode进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。 垃圾回收（GC）时间小于阈值时，告警恢复。
ALM-45009 HetuEngine计算实例任务失败率超过阈值 本章节适用于MRS 3.5.0及以后版本。 告警解释 系统每30秒周期性检测HetuEngine计算实例的任务失败率，当检测到HetuEngine计算实例的任务失败率大于等于50%时产生该告警。 HetuEngine
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
