检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好
手动恢复Doris数据 Doris支持将当前数据以文件的形式，通过Broker备份到远端存储系统中。再通过恢复命令，从远端存储系统中将数据恢复到任意Doris集群中。可实现将Doris数据定期进行快照备份及数据迁移操作。 该章节操作仅适用于MRS 3.3.1之前版本。 备份恢复相
过程中找到关键瓶颈点，解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优，充分地利用主机的CPU、内存、I/O和网络资源，提升整个系统查询的吞吐量，同时数据库参数也调整到最优状态。 SQL调优 审视业务所用SQL语句是否存在可优化空间，包括：
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业，同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。 OBS支持使用KMS密钥的加解密方式对数据进行加解密，所有的加解密操作都在OBS完成，同时密钥管理在DEW服务。
ALM-24000 Flume服务不可用 告警解释 告警模块按180秒周期检测Flume服务状态，当检测到Flume服务异常时，系统产生此告警。 当系统检测到Flume服务恢复正常，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24000 紧急 是 告警参数
3.1.5版本：系统每60秒周期性检测Impalad的Hive Server2 HTTP端口（28000）是否响应curl请求，当返回结果不正确（连续2次检测超过20秒）时产生该告警，当curl请求在20秒内正确响应时，告警恢复。 除MRS 3.1.5的其他版本：系统每60秒周期性
ALM-29104 Tserver进程内存占用率超过阈值 告警解释 系统每60秒周期性检测Kudu Tserver进程内存占用率，当检测到Tserver进程占用率超过阈值，此时产生该告警。 Tserver进程内存占用率恢正常后，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID 告警级别
ALM-29106 Tserver进程CPU占用率过高 告警解释 系统每60秒周期性检测Kudu的服务状态，当检测到Kudu Tserver进程CPU占用率过高时，此时产生该告警。 Tserver进程CPU占用率正常时，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID 告警级别
本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测TokenServer服务堆内存使用状态，当连续10次检测到TokenServer实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。 当系统检测到堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Doris服务读写性能变慢。 可能原因 业务并发量较大，导致排队任务较多。
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟：主机网络读吞吐率
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高，会对业务操作产生影响导致业务受损，具体可能会产生如下影响： 系统性能下降：卡IO会导致系统I/O性能下降，
ALM-16009 Map数超过阈值 告警解释 系统每30秒周期性检测执行的HQL的Map数是否超过阈值，超过阈值发出告警。系统默认的平滑次数为3次，默认阈值为5000。 告警属性 告警ID 告警级别 是否自动清除 16009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
问题现象 无法启动HDFS、Yarn服务组件，报错内容：/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。 处理步骤 以root用户登录集群的任意一个Master节点。 登录成功后，执行chmod 666
AppConfigurationEntry[] getAppConfigurationEntry(String name) { return new AppConfigurationEntry[] { new AppConfigurationEntry("com
Tez常用配置参数 参数入口 在Manager系统中，选择“集群 > 服务 > Tez > 配置”，选择“全部配置”。在搜索框中输入参数名称。 本章节适用于MRS 3.x及后续版本。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。
WebUI查看队列信息时提示“ERROR 500”错误 问题背景与现象 在Yarn使用Capacity调度器时，单击Yarn WebUI页面的队列名称时，系统上报“ERROR 500”的错误。 HTTP ERROR 500 javax.servlet.ServletException: javax
执行HiveQL语句 在“Database”右侧下拉列表选择一个Hive中的数据库，默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。 单击指定的表名，可以显示表中所有的列。 光标移动到表或列所在的行，单击 可以查看详细信息。
括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求，例如如下几种场景： 通用的操作系统配置不能满足实际数据处理需求，例如需调大系统最大连接数。 需要安装自身业务所需的软件工具或运行环境，例如需安装Gradle、业务需要依赖R语言包。 根据自身业务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
