华为云用户手册

查看HttpClient监控 接口维度汇总 针对HttpClient监控系统会采集每个URL的指标，具体指标以及说明，参见表1。您可以单击列表右上角的自定义列表项，使界面上显示您需要查看的指标数据。 图3 接口维度汇总HttpClient监控 表1 HttpClient监控接口维度汇总指标说明列表 指标集 指标 说明 接口维度汇总 url 被调用url。 method url的httpmethod。 下游组件 被调用url的组件名称。 调用次数 被调用url的调用次数。 平均响应时间(ms) 被调用url的平均响应时间。 错误次数 被调用url的错误次数。 最大并发 被调用url的最大并发。 最慢调用(ms) 被调用url的最大响应时间。 0-10ms 响应时间在0-10ms范围请求数。 10-100ms 响应时间在10-100ms范围请求数。 100-500ms 响应时间在100-500ms范围请求数。 500-1000ms 响应时间在500-1000ms范围请求。 1-10s 响应时间在1-10s范围请求数。 10s以上 响应时间在10s以上请求数。 错误调用链 采集周期内发生错误的调用链对应的traceid。 最慢调用链 采集周期内最慢的调用链对应的traceid。 单击“调用次数”、“平均响应时间”等列蓝色字体数值，会以图表的形式显示对应的数值详情。 单击“下游组件”的地址，会以列表形式展示被调用方组件的详情。 单击“最慢调用链”列或“错误调用链”列的，蓝色字体，系统会跳转到该调用链详情或历史信息页面，查看该调用链的调用情况以及历史信息。 集群维度汇总 APM 支持以集群的维度汇总外部调用的指标，具体指标以及说明，参见表2。 图4 集群维度汇总HttpClient监控 表2 HttpClient监控集群维度汇总指标说明列表 指标集 指标 说明 集群维度汇总 envId 被调用方的集群id。 下游地址 被调用方的url地址。 调用次数 调用该集群url的调用次数。 平均响应时间(ms) 调用该集群url的平均响应时间。 错误次数 被调用url的错误次数。 最慢调用(ms) 调用该集群url的最大响应时间。 0-10ms 响应时间在0-10ms范围请求数。 10-100ms 响应时间在10-100ms范围请求数。 100-500ms 响应时间在100-500ms范围请求数。 500-1000ms 响应时间在500-1000ms范围请求。 1-10s 响应时间在1-10s范围请求数。 10s-n 响应时间在10s以上请求数。 单击“调用次数”、“平均响应时间”等列的蓝色字体数值，会以图表的形式显示对应的数值详情。 单击“下游地址”，会以列表形式展示被调用方的地址详情。 状态码维度汇总 APM支持以状态码的维度汇总外部调用的指标，具体指标以及说明，参见表3。 图5 状态码维度汇总HttpClient监控 表3 HttpClient监控状态码维度汇总指标说明列表 指标集 指标 说明 状态码维度汇总 code 状态码。 数量 对应状态码的发生次数。 最近URL 产生对应状态码的url。 单击“code”列的某个状态码，系统会跳转到调用链页面，显示默认20分钟内所在环境，所选实例该状态码的调用情况。 单击“数量”列的数值，可以查看所选时间段内该状态码的趋势图。 单击最近url，可以查看对应状态码下的调用详情。 异常 可以在异常页签下查看对HttpClient调用的异常信息统计的指标，具体指标以及说明，参见表4。 图6 HttpClient监控异常 表4 HttpClient监控异常指标说明列表 指标集 指标 说明 异常 causeType 发生异常的类。 exceptionType 异常类型。 数量 该异常的发生次数。 异常消息 该异常产生的异常消息。 错误堆栈 该异常产生的堆栈信息。 单击“数量”列的蓝色数值，可以查看所选时间段内该线程的趋势图。 单击“异常消息”列的蓝色文字，可以查看异常消息的详细内容。 单击“错误堆栈”列的“查看详情”可以查看异常的详细信息。 单击“错误堆栈”列的“历史信息”可以查看该类名的历史异常堆栈列表。 总览 可以在总览页签下查看所选实例的的指标，具体指标以及说明，参见表5。 选中某一个时间节点时，图表支持联动。展示该时间节点下各个指标的实际数值。 图7 HttpClient监控总览 表5 HttpClient监控总览指标说明列表 指标集 指标 说明 总览 调用次数 总的调用次数。 平均响应时间(ms) 平均响应时间。 错误次数 总的错误次数。

SDK使能 引入依赖模块。 import { APMSDK } from "apm_harmony_sdk"; 启动及自定义参数设置。 // 启动SDK，在onCreate函数中添加以下代码： APMSDK.start(this.context.getApplicationContext()); // 设置自定义ID APMSDK.setUid(自定义ID); // 设置自定义标签 APMSDK.addTag(自定义标签);

版本更新说明 sdk如何处理个人信息请参考 应用性能管理 服务数据采集SDK隐私声明。 您集成和使用华为的sdk时需要遵从个人信息保护基本要求，详情请参考应用性能管理服务数据采集SDK开发者合规指南。 表1 版本更新说明 版本号 SDK下载地址 更新说明 系统 2.0.6 SDK下载 1.解决用户在初始化之后setUid和setTag不生效的问题 2.解决用户ID在特殊场景下自动刷新的问题 3.封装HTTP请求方法，监听HTTP请求下的API数据 API 12 及以上 2.0.5 SDK下载 1.解决setUid和setTag方法被混淆的问题 API 12 及以上 2.0.3 SDK下载 添加参数校验； 添加调试日志。 API 12 及以上 2.0.2 SDK下载 解除SDK中对其他包的依赖。 API 12 及以上 2.0.1 SDK下载 提供采集上报App启动性能、崩溃、卡顿、错误、网络请求、终端设备、自定义上报等应用监控能力。 API 12 及以上

查看KafkaProducer监控 topic监控 可以在topic监控页签下查看所选实例的信息，具体指标以及说明，参见表1。 图2 查看KafkaProducer监控 表1 topic监控参数说明列表 指标集 指标 说明 topic监控 id 消息组id，是由消费组 consumer + topic+ {sequenceId} +kakfa ips组成。 topic kafka的topic名称。 sequencelds 消息序列id。 总消费次数 总消费次数。 总消费字节数 总消费字节数。 每秒消费字节 每秒消费字节。 请求获取平均字节 请求获取平均字节。 请求获取最大字节 请求获取最大字节。 每秒消费消息数 每秒消费消息数。 单次请求平均消息数 单次请求平均消息数。 在搜索框中输入“id”、“topic”内容后单击，展示包含搜索内容的所有信息。 单击“总消费次数”、“总消费字节数”等列的蓝色字体数值，可以查看所选时间段内“总消费次数”、“总消费字节数”等列的趋势图。 fetch监控 可以在fetch监控页签下查看所选实例的信息，具体指标以及说明，参见表2。 表2 fetch监控参数说明列表 指标集 指标 说明 fetch监控 id 消息组id，是由消费组 consumer + topic+ {sequenceId} +kakfa ips组成。 topic kafka的topic名称。 sequencelds 消息序列id。 总消费次数 总消费次数。 总消费字节数 总消费字节数。 每秒消费字节 每秒消费字节。 请求平均延时 请求平均延时。 请求最大延时 请求最大延时。 每秒请求数 每秒请求数。 请求获取平均字节 请求获取平均字节。 请求获取最大字节 请求获取最大字节。 每秒消费消息数 每秒消费消息数。 最大堆积消息数 最大堆积消息数。 单次请求平均消息数 单次请求平均消息数。 在搜索框中输入“id”、“topic”内容后单击，展示包含搜索内容的所有信息。 单击“总消费次数”、“总消费字节数”等列的蓝色字体数值，可以查看所选时间段内“总消费次数”、“总消费字节数”等列的趋势图。 partition监控 可以在partition监控页签下查看所选实例的信息，具体指标以及说明，参见表3。 表3 partition监控参数说明列表 指标集 指标 说明 partition监控 id 消息组id，是由消费组 consumer + topic+ {sequenceId} +kakfa ips组成。 topic kafka的topic名称。 sequencelds 消息序列id。 堆积消息数 堆积消息数。 平均堆积消息数 平均堆积消息数。 最大堆积消息数 最大堆积消息数。 在搜索框中输入“id”、“topic”内容后单击，展示包含搜索内容的所有信息。 单击“堆积消息数”、“平均堆积消息数”等列的蓝色字体数值，可以查看所选时间段内“堆积消息数”、“平均堆积消息数”等列的的趋势图。 消费方法监控 可以在消费方法监控监控页签下查看所选实例的信息，具体指标以及说明，参见表4。 表4 消费方法监控监控参数说明列表 指标集 指标 说明 消费方法监控 topic kafka的topic名称。 调用次数 调用次数。 平均响应时间 平均响应时间。 错误数 错误数。 最大并发 最大并发。 最慢调用 最大响应时间。 0-10ms 时延在0-10ms范围请求数。 10-100ms 时延在10-100ms范围请求数。 100-200ms 时延在100-200ms范围请求数。 200-1000ms 时延在200-1000ms范围请求数。 1-10s 时延在1-10s范围请求数。 10s-n 时延在10s以上请求数。 单击“topic”、“调用次数”、“平均响应时间(ms)”等列的蓝色字体数值，可以查看所选时间段内“topic”、“调用次数”、“平均响应时间(ms)”等列的趋势图。 异常 可以在异常页签下查看KafkaProducer监控的异常统计信息，具体指标以及说明，参见表5。 表5 异常参数说明列表 指标集 指标 说明 异常 causeType 异常发生类。 exceptionType 异常类。 次数 异常次数。 消息 异常消息。 错误堆栈 错误堆栈。 单击“异常数量”、“次数”等列的蓝色数值，可以查看所选时间段内该线程的趋势图。 单击“异常消息”列的蓝色文字，可以查看异常消息的详细内容。 单击“错误堆栈”列的“查看详情”可以查看异常的详细信息。 单击“错误堆栈”列的“历史信息”可以查看该类名的历史异常堆栈列表。 总览 可以在总览页签下查看所选实例的调用趋势图，具体指标以及说明，参见表6。选中某一个时间节点时，图表支持联动。展示该时间节点下各个指标的实际数值。 表6 总览参数说明列表 指标集 指标 说明 总览 总发送次数 总发送次数。 总发送字节数 总发送字节数。

运营商统计表 运营商统计表展示某个应用终端设备的运营商信息，指标包括：运营商、使用量、设备数量以及操作。 图17 运营商统计表 表11 运营商统计表相关参数说明 参数名称 说明 运营商 运营商名称。 使用量 使用该运营商的设备数量。 设备数量 设备的数量。 单击“运营商”列的某一行对应的“操作”列的“分析”按钮，展示运营商的详细信息。包括：设备型号/ID、App、版本、系统、系统版本、UA、地域、用户标识、发生时间以及操作。 图18 运营商统计表-分析 单击“设备型号/ID”列的某一行对应的“操作”列的“查看详情”,展示运营商统计表的基本信息。 图19 运营商统计表-查看详情 表12 运营商统计表-基本信息参数说明 参数名称 说明 设备型号 设备的型号。 用户标识 用户的唯一标识。 App App名称。 App版本 App版本号。 AppId App的Id。 设备标识 设备的唯一标识。 系统 系统类型。 系统版本 系统版本号。 CPU架构 CPU的架构。 UA 用户探针。 IP 设备的IP地址。 平台 平台类型。 运营商 设备使用的运营商名称。 是否越狱 设备是否越狱，例如：iOS越狱为“是”，Android root刷机为“是”，其他为“否”。 SDKSoftware development kit SDK版本号。 接入方式 终端设备接入方式。 最大内存 支持的最大内存容量。 最大磁盘 支持的最大磁盘容量。 地域 设备所在地域。 uuid 每次上报的唯一标识。 发生时间 设备接入的时间。

地域统计表 地域统计表展示某个应用终端设备的地域信息，指标包括：地域、使用量、设备数量以及操作。 图11 地域统计表 表7 地域统计表相关参数说明 参数名称 说明 地域 地 域名 称。 使用量 某地域的使用量。 设备数量 某地域设备的总数量。 单击“地域”列的某一行对应的“操作”列的“分析”按钮，展示地域的详细信息。包括：设备型号/ID、App、版本、系统、系统版本、UA、地域、用户标识、发生时间以及操作。 图12 地域统计表-分析 单击“设备型号/ID”列的某一行对应的“操作”列的“查看详情”,展示地域统计的基本信息。 图13 地域统计表-查看详情 表8 地域统计表-基本信息参数说明 参数名称 说明 设备型号 设备的型号。 用户标识 用户的唯一标识。 App App名称。 App版本 App版本号。 AppId App的Id。 设备标识 设备的唯一标识。 系统 系统类型。 系统版本 系统版本号。 CPU架构 CPU的架构。 UA 用户探针。 IP 设备的IP地址。 运营商 设备使用的运营商名称。 平台 平台类型。 是否越狱 设备是否越狱，例如：iOS越狱为“是”，Android root刷机为“是”，其他为“否”。 SDKSoftware development kit SDK版本号。 接入方式 终端设备接入方式。 最大内存 支持的最大内存容量。 最大磁盘 支持的最大磁盘容量。 地域 设备所在地域。 uuid 每次上报的唯一标识。 发生时间 设备接入的时间。

上网方式统计表 上网方式统计表展示某个应用终端设备的上网方式信息，指标包括：上网方式、使用量、设备数量以及操作。 图14 上网方式统计表 表9 上网方式统计表相关参数说明 参数名称 说明 上网方式 上网的方式。 使用量 使用该上网方式的接入数量。 设备数量 设备的数量。 单击“上网方式”某一行对应的“操作”列的“分析”按钮，展示上网方式的详细信息。包括：设备型号/ID、App、版本、系统、系统版本、UA、地域、用户标识、发生时间以及操作。 图15 上网方式统计表-分析 单击“设备型号/ID”列的某一行对应的“操作”列的“查看详情”,展示上网方式统计表的基本信息。 图16 上网方式统计表-查看详情 表10 上网方式统计表-基本信息参数说明 参数名称 说明 设备型号 设备的型号。 用户标识 用户的唯一标识。 App App名称。 App版本 App版本号。 AppId App的Id。 设备标识 设备的唯一标识。 系统 系统类型。 系统版本 系统版本号。 CPU架构 CPU的架构。 UA 用户探针。 IP 设备的IP地址。 平台 平台类型。 运营商 设备使用的运营商名称。 是否越狱 设备是否越狱，例如：iOS越狱为“是”，Android root刷机为“是”，其他为“否”。 SDKSoftware development kit SDK版本号。 接入方式 终端设备接入方式。 最大内存 支持的最大内存容量。 最大磁盘 支持的最大磁盘容量。 地域 设备所在地域。 uuid 每次上报的唯一标识。 发生时间 设备接入的时间。

设备型号统计表 设备型号统计表展示某个应用终端设备的设备型号信息，指标包括：设备名称、使用量、 总设备数以及操作。 图8 设备型号统计表 表5 设备型号统计表相关参数说明 参数名称 说明 设备名称 设备的名称。 使用量 某设备的使用量。 总设备数 某设备名称的设备数量。 单击“设备名称”列的某一行对应的“操作”列的“分析”按钮，展示设备型号的详细信息。包括：设备型号/ID、App、版本、系统、系统版本、UA、地域、用户标识、发生时间以及操作。 图9 设备型号统计表-分析 单击“设备型号/ID”列的某一行对应的“操作”列的“查看详情”,展示设备型号统计的基本信息。 图10 设备型号统计表-查看详情 表6 设备型号统计表-基本信息参数说明 参数名称 说明 设备型号 设备的型号。 用户标识 用户的唯一标识。 App App名称。 App版本 App版本号。 AppId App的Id。 设备标识 设备的唯一标识。 系统 系统类型。 系统版本 系统版本号。 CPU架构 CPU的架构。 UA 用户探针。 IP 设备的IP地址。 运营商 设备使用的运营商名称。 平台 平台类型。 是否越狱 设备是否越狱，例如：iOS越狱为“是”，Android root刷机为“是”，其他为“否”。 SDKSoftware development kit SDK版本号。 接入方式 终端设备接入方式。 最大内存 支持的最大内存容量。 最大磁盘 支持的最大磁盘容量。 地域 设备所在地域。 uuid 每次上报的唯一标识。 发生时间 设备接入的时间。

系统版本统计表 系统版本统计表展示某个应用终端设备的系统版本版本信息，指标包括：系统版本、使用量、设备数量以及操作。 图5 系统版本统计表 表3 系统版本统计表相关参数说明 参数名称 说明 系统版本 系统版本号。 使用量 系统版本的使用量。 设备数量 使用该系统版本的设备数量。 单击“系统版本”列的某一行对应的“操作”列的“分析”按钮，展示系统版本的详细信息。包括：设备型号/ID、App、版本、系统、系统版本、UA、地域、用户标识、发生时间以及操作。 图6 App系统版本统计表-分析 单击“设备型号/ID”列的某一行对应的“操作”列的“查看详情”,展示系统版本统计的基本信息。 图7 App系统版本统计-查看详情 表4 系统版本统计-基本信息参数说明 参数名称 说明 设备型号 设备的型号。 用户标识 用户的唯一标识。 App App名称。 App版本 App版本号。 AppId App的Id。 设备标识 设备的唯一标识。 系统 系统类型。 系统版本 系统版本号。 CPU架构 CPU的架构。 UA 用户探针。 IP 设备的IP地址。 运营商 设备使用的运营商名称。 平台 平台类型。 是否越狱 设备是否越狱，例如：iOS越狱为“是”，Android root刷机为“是”，其他为“否”。 SDKSoftware development kit SDK版本号。 接入方式 终端设备接入方式。 最大内存 支持的最大内存容量。 最大磁盘 支持的最大磁盘容量。 地域 设备所在地域。 uuid 每次上报的唯一标识。 发生时间 设备接入的时间。

App版本统计表 App版本统计表展示某个应用终端设备的App版本信息，指标包括：App版本、使用量、设备数量以及操作。 图2 App版本统计表 表1 App版本统计表相关参数说明 参数名称 说明 App版本 App版本号。 使用量 App版本的使用量。 设备数量 使用该App版本的设备数量。 单击“App版本”某一行对应的“操作”列的“分析”按钮，展示App版本的详细信息。包括：设备型号/ID、App、版本、系统、系统版本、UA、地域、用户标识、发生时间以及操作。 图3 App版本统计表-分析 单击“设备型号/ID”列的某一行对应的“操作”列的“查看详情”,展示App版本统计的基本信息。 图4 App版本统计-查看详情 表2 App版本统计-基本信息说明 参数名称 说明 设备型号 设备的型号。 用户标识 用户的唯一标识。 App App名称。 App版本 App版本号。 AppId App的Id。 设备标识 设备的唯一标识。 系统 系统类型。 系统版本 系统版本号。 CPU架构 CPU的架构。 UA 用户探针。 IP 设备的IP地址。 运营商 设备使用的运营商名称。 平台 平台类型。 是否越狱 设备是否越狱，例如：iOS越狱为“是”，Android root刷机为“是”，其他为“否”。 SDKSoftware development kit SDK版本号。 接入方式 终端设备接入方式。 最大内存 支持的最大内存容量。 最大磁盘 支持的最大磁盘容量。 地域 设备所在地域。 uuid 每次上报的唯一标识。 发生时间 设备接入的时间。

错误列表 错误列表展示错误信息的错误摘要、错误类型、错误次数、影响设备数、影响版本数、首次发生时间、最后发生时间以及操作。 图5 错误列表 表5 错误列表相关参数说明 参数名称 说明 错误摘要 错误信息的摘要。 错误类型 错误的类型。 错误次数 错误的次数。 影响设备数 错误影响设备的数量。 影响版本数 错误影响版本的次数。 首次发生时间 错误首次发生的时间。 最后发生时间 错误最后发生的时间。 单击“错误摘要”列的某一行对应的“操作”列的“分析”按钮，展示某条错误记录的详细信息。包括：错误总览趋势图、TOP5版本错误、TOP5设备错误以及错误列表。 图6 错误摘要详细信息 单击“设备型号/ID”列的某一行对应的“操作”列的“查看详情”。展示该错误记录的基本信息以及错误堆栈。请注意，仅iOS应用支持堆栈分析功能。 图7 错误-查看详情 表6 错误-查看详情相关参数说明 参数名称 说明 发生时间 发生错误的时间。 用户标识 用户的唯一标识。 设备型号 设备的型号。 摘要 错误信息摘要。 接入方式 App接入方式。 系统版本 系统版本号。 App版本 App版本号。 内存占用 内存占用大小。 内存空闲 内存空闲大小。 CPU使用 CPU已经使用率。 CPU架构 CPU的架构。 可用磁盘 磁盘可使用大小。 已用磁盘 磁盘已使用大小。 应用包名 应用包名称。 错误堆栈 错误堆栈。 在崩溃堆栈框中输入符号表的OBS桶地址，如何通过OBS客户端上传符号表文件，上传操作请查看 通过控制台快速使用OBS。 单击“堆栈分析”，分析结果展示在框中。 图8 堆栈分析

混淆配置 如App对代码进行乱序混淆，则在混淆配置文件中添加代码段： -keep class com.cloud.apm.**{*;} # 如果使用gradle 8.x 请自行选择使用下面的配置 -keep classeswithmembers class okhttp3.**{*;} # 使用okhttp3&okhttp4 -dontwarn okhttp3.** # 未使用okhttp3&okhttp4 -keep classeswithmembers class com.squareup.okhttp.**{*;} # 使用 okhttp2 -dontwarn com.squareup.okhttp.** # 未使用 okhttp2

版本更新说明 sdk如何处理个人信息请参考应用性能管理服务数据采集SDK隐私声明。 您集成和使用华为的sdk时需要遵从个人信息保护基本要求，详情请参考应用性能管理服务数据采集SDK开发者合规指南。 表1 版本更新说明 版本号 SDK下载地址 检验信息下载地址 更新说明 系统 2.0.13 SDK下载 插件下载 SDK下载 插件下载 1.解决AGP8.0+兼容性问题。 2.minSDK支持到21。 Android 5 及以上 2.0.12 SDK下载 插件下载 SDK下载 插件下载 兼容Gradle 6.7.1、AGP 4.2.0、JDK 11、Android 30（compileSdk）。 Android 7 及以上 2.0.11 SDK下载 插件下载 SDK下载 插件下载 优化数据上传逻辑。 Android 7 及以上 2.0.10 SDK下载 插件下载 SDK下载 插件下载 修复网络错误时上报有null的问题。 修复插件加载时会出现未完成配置的问题。 修复插件插桩异常后复制文件失败的问题。 Android 7 及以上 2.0.9 SDK下载 插件下载 SDK下载 插件下载 插件添加功能开关配置，帮助调试定位问题。 修复了链路追踪开关的远程配置生效时机错误的问题。 修复了anr错误栈日志显示重复的问题。 Android 7 及以上 2.0.8 SDK下载 插件下载 SDK下载 插件下载 修复工程配置导致的冲突问题。 Android 7 及以上 2.0.7 SDK下载 插件下载 SDK下载 插件下载 支持远程配置功能。 Android 7 及以上 2.0.6 SDK下载 插件下载 SDK下载 插件下载 修复了配置导致SDK启动失败的问题。 Android 7 及以上 2.0.5 SDK下载 插件下载 SDK下载 插件下载 适配了 Gradle8.0及以上版本的 transform API。 Android 7 及以上 2.0.4 SDK下载 插件下载 SDK下载 插件下载 适配配置文件字段，修复插件无法响应日志字段的问题。 网络拦截升级，修复了使用 URLConnection 时，特殊情况无法上报的问题 Android 7 及以上 2.0.1 SDK下载 插件下载 SDK下载 插件下载 提供采集上报App启动性能、崩溃、卡顿、错误、网络请求、终端设备、自定义上报等应用监控能力。 Android 7 及以上

版本更新说明 表1 版本更新说明 版本号 更新说明 1.0.61 过滤掉性能加载数据中LCP为0的数据 1.0.59 新增采样率设置。 1.0.58 新增对furion探针的支持。 1.0.57 新增CLS LCP指标 1.0.48 新增绘制延迟指标采集，默认关闭，通过enableInp参数开关控制。 1.0.47 新增pvid和ssid字段上报，用于会话追踪和流量分析。 1.0.46 新增自定义标签uid和tag，新增__rum.setUid和__rum.setTag方法。

组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面，传统的操作方法是需要用户创建E CS ，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。 MRS 提供了基于弹性公网IP来便捷访问组件WebUI的安全通道，并且比用户自己绑定弹性公网IP更便捷，只需界面鼠标操作，即可简化原先用户需要自己登录虚拟私有云添加安全组规则，获取公网IP等步骤，减少了用户操作步骤。 分析集群Hadoop、Spark、HBase、Hue及流式集群等相关组件，都可以在Manager上找到组件页面入口，快速访问。 更多关于MRS集群内托管的开源组件WebUI界面登录操作指导，请参考访问MRS集群上托管的开源组件Web页面。 父主题： 产品功能

HDFS可靠性 MRS使用HDFS的副本机制来保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即共2个副本。HDFS副本数可通过“dfs.replication”参数查询。 当MRS集群中Core节点规格选择为非本地盘（hdd）时，若集群中只有一个Core节点，则HDFS默认副本数为1。若集群中Core节点数大于等于2，则HDFS默认副本数为2。 当MRS集群中Core节点规格选择为本地盘（hdd）时，若集群中只有一个Core节点，则HDFS默认副本数为1。若集群中有两个Core节点，则HDFS默认副本数为2。若集群中Core节点数大于等于3，则HDFS默认副本数为3。 图3 HDFS架构 MRS支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度，有助于扩容节点或扩容磁盘后的HDFS存储性能提升。

HDFS结构 HDFS包含主、备NameNode和多个DataNode，如图1所示。 HDFS是一个Master/Slave的架构，在Master上运行NameNode，而在每一个Slave上运行DataNode，ZKFC需要和NameNode一起运行。 NameNode和DataNode之间的通信都是建立在TCP/IP的基础之上的。NameNode、DataNode、ZKFC和JournalNode能部署在运行Linux的服务器上。 图1 HA HDFS结构 图1中各模块的功能说明如表1所示。 表1 模块说明 名称 描述 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等，分为： Active NameNode：管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息；记录写入的每个“数据块”与其归属文件的对应关系。 Standby NameNode：与Active NameNode中的数据保持同步；随时准备在Active NameNode出现异常时接管其服务。 Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据，并且会周期性地向NameNode报告该DataNode的数据存放情况。 JournalNode HA集群下，用于同步主备NameNode之间的元数据信息。 ZKFC ZKFC是需要和NameNode一一对应的服务，即每个NameNode都需要部署ZKFC。它负责监控NameNode的状态，并及时把状态写入ZooKeeper。ZKFC也有选择谁作为Active NameNode的权利。 ZK Cluster ZooKeeper是一个协调服务，帮助ZKFC执行主NameNode的选举。 HttpFS gateway HttpFS是个单独无状态的gateway进程，对外提供webHDFS接口，对HDFS使用FileSystem接口对接。可用于不同Hadoop版本间的数据传输，及用于访问在防火墙后的HDFS（HttpFS用作gateway）。 HDFS HA架构 HA即为High Availability，用于解决NameNode单点故障问题，该特性通过主备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而不间断对外提供服务。 在一个典型HDFS HA场景中，通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。 为了能实现Active和Standby两个NameNode的元数据信息同步，需提供一个共享存储系统。本版本提供基于QJM（Quorum Journal Manager）的HA解决方案，如图2所示。主备NameNode之间通过一组JournalNode同步元数据信息。 通常配置奇数个（2N+1个）JournalNode，且最少要运行3个JournalNode。这样，一条元数据更新消息只要有N+1个JournalNode写入成功就认为数据写入成功，此时最多容忍N个JournalNode写入失败。比如，3个JournalNode时，最多允许1个JournalNode写入失败，5个JournalNode时，最多允许2个JournalNode写入失败。 由于JournalNode是一个轻量级的守护进程，可以与Hadoop其它服务共用机器。建议将JournalNode部署在控制节点上，以避免数据节点在进行大数据量传输时引起JournalNode写入失败。 图2 基于QJM的HDFS架构

特性描述 MRS联合 消息通知 服务( SMN )，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 首先，作为主题拥有者，可以先创建一个主题，并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。MRS将集群消息发送至您有权限发布消息的主题，然后所有订阅了该主题的订阅者（可以是手机短信、邮箱等）都将收到集群变更以及组件告警的消息。 图1 MRS集群状态消息通知 更多关于MRS集群告警事件消息通知操作，请参考配置MRS集群告警事件消息通知。

特性简介 大数据集群运行过程中经常会进行如下操作： 大数据集群变更，比如扩容、缩容集群。 业务数据量突然变化，集群触发弹性伸缩。 相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不用频繁登录集群查看，就可以及时地收到告警通知。MRS联合消息通知服务(SMN)，可以将以上信息主动地通知到用户的手机及邮箱，让维护更加省心省力。

HetuEngine结构 HetuEngine包含不同模块，整体结构如图1所示。 图1 HetuEngine结构图 表1 各模块说明 模块名称 常见概念名称 描述 云服务层 HetuEngine CLI/JDBC HetuEngine的客户端，使用者通过客户端向服务端提交查询请求，然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理，用作计算实例的资源管理校验，健康监控与自动维护等。 HSConsole 对外提供数据源信息管理，计算实例管理，自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric 提供跨域（DC）高性能安全数据传输。 引擎层 Coordinator HetuEngine计算实例的管理节点，提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。 Worker HetuEngine计算实例的工作节点，提供数据源数据并行拉取，分布式SQL计算等能力。

节点隔离 当用户发现某个主机出现异常或故障，无法提供服务或影响集群整体性能时，可以临时将主机从集群可用节点排除，使客户端访问其他可用的正常节点。 在为MRS集群安装补丁的场景中，也支持排除指定节点不安装补丁。 隔离主机仅支持隔离MRS集群内的非管理节点。 主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 更多关于MRS集群节点隔离操作，请参考隔离MRS集群节点。 父主题： 集群管理

Hudi支持三种视图，针对不同场景提供相应的读能力 Snapshot View 实时视图：该视图提供当前hudi表最新的快照数据，即一旦有最新的数据写入hudi表，通过该视图就可以查出刚写入的新数据。 cow表和mor均支持这种视图能力。 Incremental View 增量视图：该视图提供增量查询的能力，可以查询指定COMMIT之后的增量数据，可用于快速拉取增量数据。 cow表支持该种视图能力， mor表也可以支持该视图，但是一旦mor表完成compact操作其增量视图能力消失。 Read Optimized View 读优化视图：该视图只会提供最新版本的parquet文件中存储的数据。 该视图在cow表和mor表上表现不同： 对于cow表，该视图能力和实时视图能力是一样的（cow表只用parquet文件存数据）。 对于mor表，仅访问基本文件，提供给定文件片自上次执行compact操作以来的数据， 可简单理解为该视图只会提供mor表parquet文件存储的数据，log文件里面的数据将被忽略。 该视图数据并不一定是最新的，但是mor表一旦完成compact操作，增量log数据被合入到了base数据里面，这个时候该视图和实时视图能力一样。

Hudi支持两种表类型 Copy On Write 写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表，使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据，Avro格式文件（也可叫做log文件）用于存储增量数据。 优点：由于写入数据先写delta log，且delta log较小，所以写入成本较低。 缺点：需要定期合并整理compact，否则碎片文件较多。读取性能较差，因为需要将delta log和老数据文件合并。

特性简介 随着企业的数据越来越多，越来越多的企业选择使用Spark/Hive等技术来进行分析，由于数据量大，任务处理繁重，资源消耗较高，因此使用成本也越来越高。当前并不是每个企业在每时每刻在进行分析，而一般是在一天的一个时间段内进行分析汇总，因此MRS提供了弹性伸缩能力，可以自动在业务在繁忙时申请额外资源，业务不繁忙时释放闲置资源，让用户按需使用，尽可能的帮助客户降低使用成本，聚焦核心业务。 在大数据应用，尤其是周期性的数据分析处理场景中，需要根据业务数据的周期变化，动态调整集群计算资源以满足业务需要。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。此外，如果数据量为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，可以使用MRS的资源计划特性。 MRS服务支持规则和时间计划两种弹性伸缩的策略： 弹性伸缩规则：根据集群实时负载对Task节点数量进行调整，数据量变化后触发扩缩容，有一定的延后性。 资源计划：若数据量变化存在周期性规律，则可通过资源计划在数据量变化前提前完成集群的扩缩容，避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩，两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好，足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后，根据节点数量的变化对资源分配或业务逻辑进行更改时，手动扩缩容的场景需要用户登录集群节点进行操作。对于弹性伸缩场景，MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作，自动适应业务负载的变化，免去了人工操作。同时，自动化脚本给用户实现个性需求提供了途径，完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求，使弹性伸缩更具灵活性。

客户价值 MRS的自动弹性伸缩可以帮助用户实现以下价值。 降低使用成本 部分企业并不是时刻都在进行批量分析，例如一般情况下数据持续接入，而到了特定时间段（例如凌晨3点）进行批量分析，可能仅需要消耗2小时。 MRS提供的弹性伸缩能力，可以帮助用户在进行批量分析操作时，将分析节点扩容到指定规模，而计算完毕后，则自动释放计算节点，尽可能的降低使用成本。 平衡突发查询 大数据集群上，由于有大量的数据，企业会经常面临临时的分析任务，例如支撑企业决策的临时数据报表等，都会导致对于资源的消耗在极短时间内剧增。MRS提供的弹性伸缩能力，可以在突发大数据分析时，及时补充计算节点，避免因为计算能力不足，导致业务宕机。用户无需手动购买额外资源，当突发事件结束后，MRS会自动判断缩容时机，自动完成缩容。 聚焦核心业务 大数据作为二次开发平台，开发人员时常难以判断具体的资源消耗，由于查询分析的条件复杂性（例如全局排序，过滤，合并等）以及数据的复杂性（例如增量数据的不确定性等），都会导致预估计算量难以进行，而使用弹性伸缩能力，可以让业务人员专注于业务开发，无需分心再做各种资源评估。 更多关于MRS集群Task节点弹性伸缩配置，请参考MRS集群Task节点弹性伸缩。

HBase结构 HBase集群由主备Master进程和多个RegionServer进程组成。如图1所示。 图1 HBase结构 表1 模块说明 名称 描述 Master 又叫HMaster，在HA模式下，包含主用Master和备用Master。 主用Master：负责HBase中RegionServer的管理，包括表的增、删、改、查；RegionServer的负载均衡，Region分布调整；Region分裂以及分裂后的Region分配；RegionServer失效后的Region迁移等。 备用Master：当主用Master故障时，备用Master将取代主用Master对外提供服务。故障恢复后，原主用Master降为备用。 Client Client使用HBase的RPC机制与Master、RegionServer进行通信。Client与Master进行管理类通信，与RegionServer进行数据操作类通信。 RegionServer RegionServer负责提供表数据读写等服务，是HBase的数据处理和计算单元。 RegionServer一般与HDFS集群的DataNode部署在一起，实现数据的存储功能。 ZooKeeper集群 ZooKeeper为HBase集群中各进程提供分布式协作服务。各RegionServer将信息注册到ZooKeeper中，主用Master据此感知各个RegionServer的健康状态。 HDFS集群 HDFS为HBase提供高可靠的文件存储服务，HBase的数据全部存储在HDFS中。

HBase原理 HBase数据模型 HBase以表的形式存储数据，数据模型如图 HBase数据模型所示。表中的数据划分为多个Region，并由Master分配给对应的RegionServer进行管理。 每个Region包含了表中一段RowKey区间范围内的数据，HBase的一张数据表开始只包含一个Region，随着表中数据的增多，当一个Region的大小达到容量上限后会分裂成两个Region。可以在创建表时定义Region的RowKey区间，或者在配置文件中定义Region的大小。 图2 HBase数据模型 表2 概念介绍 名称 描述 RowKey 行键，相当于关系表的主键，每一行数据的唯一标识。字符串、整数、二进制串都可以作为RowKey。所有记录按照RowKey排序后存储。 Timestamp 每次数据操作对应的时间戳，数据按时间戳区分版本，每个Cell的多个版本的数据按时间倒序存储。 Cell HBase最小的存储单元，由Key和Value组成。Key由row、column family、column qualifier、timestamp、type、MVCC version这6个字段组成。Value就是对应存储的二进制数据对象。 Column Family 列族，一个表在水平方向上由一个或多个Column Family组成。一个CF（Column Family）可以由任意多个Column组成。Column是CF下的一个标签，可以在写入数据时任意添加，因此CF支持动态扩展，无需预先定义Column的数量和类型。HBase中表的列非常稀疏，不同行的列的个数和类型都可以不同。此外，每个CF都有独立的生存周期（TTL）。可以只对行上锁，对行的操作始终是原始的。 Column 与传统的数据库类似，HBase的表中也有列的概念，列用于表示相同类型的数据。 RegionServer数据存储 RegionServer主要负责管理由HMaster分配的Region，RegionServer的数据存储结构如图 RegionServer的数据存储结构所示。 图3 RegionServer的数据存储结构 图 RegionServer的数据存储结构中Region的各部分的说明如表 Region结构说明所示。 表3 Region结构说明 名称 描述 Store 一个Region由一个或多个Store组成，每个Store对应图 HBase数据模型中的一个Column Family。 MemStore 一个Store包含一个MemStore，MemStore缓存客户端向Region插入的数据，当RegionServer中的MemStore大小达到配置的容量上限时，RegionServer会将MemStore中的数据flush到HDFS中。 StoreFile MemStore的数据flush到HDFS后成为StoreFile，随着数据的插入，一个Store会产生多个StoreFile，当StoreFile的个数达到配置的最大值时，RegionServer会将多个StoreFile合并为一个大的StoreFile。 HFile HFile定义了StoreFile在文件系统中的存储格式，它是当前HBase系统中StoreFile的具体实现。 HLog HLog日志保证了当RegionServer故障的情况下用户写入的数据不丢失，RegionServer的多个Region共享一个相同的HLog。 元数据表 元数据表是HBase中一种特殊的表，用来帮助Client定位到具体的Region。元数据表包括“hbase:meta”表，用于记录用户表的Region信息，例如，Region位置、起始RowKey及结束RowKey等信息。 元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。 图4 元数据表和用户表的映射关系 数据操作流程 HBase数据操作流程如图 数据操作流程所示。 图5 数据操作流程 对HBase进行增、删、改、查数据操作时，HBase Client首先连接ZooKeeper获得“hbase:meta”表所在的RegionServer的信息（涉及NameSpace级别修改的，比如创建表、删除表需要访问HMaster更新meta信息）。 HBase Client连接到包含对应的“hbase:meta”表的Region所在的RegionServer，并获得相应的用户表的Region所在的RegionServer位置信息。 HBase Client连接到对应的用户表Region所在的RegionServer，并将数据操作命令发送给该RegionServer，RegionServer接收并执行该命令从而完成本次数据操作。 为了提升数据操作的效率，HBase Client会在内存中缓存“hbase:meta”和用户表Region的信息，当应用程序发起下一次数据操作时，HBase Client会首先从内存中获取这些信息；当未在内存缓存中找到对应数据信息时，HBase Client会重复上述操作。

Oozie原理 Oozie是一个工作流引擎服务器，用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序，运行在Tomcat容器中。 Oozie工作流通过HPDL（一种通过XML自定义处理的语言，类似JBOSS JBPM的JPDL）来构造。包含“Control Node”（可控制的工作流节点）、“Action Node”。 “Control Node”用于控制工作流的编排，如“start”（开始）、“end”（关闭）、“error”（异常场景）、“decision”（选择）、“fork”（并行）、“join”（合并）等。 Oozie工作流中拥有多个“Action Node”，如MapReduce、Java等。 所有的“Action Node”以有向无环图DAG（Direct Acyclic Graph）的模式部署运行。所以在“Action Node”的运行步骤上是有方向的，当上一个“Action Node”运行完成后才能运行下一个“Action Node”。一旦当前“Action Node”完成，远程服务器将回调Oozie的接口，这时Oozie又会以同样的方式执行工作流中的下一个“Action Node”，直到工作流中所有“Action Node”都完成（完成包括失败）。 Oozie工作流提供各种类型的“Action Node”用于支持不同的业务需要，如MapReduce，HDFS，SSH，Java以及Oozie子流程。

Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console仅提供对Oozie工作流的查看和监控功能。通过Oozie对外提REST方式的WS接口，Oozie client通过该接口控制（启动、停止等操作）Workflow流程，从而编排、运行Hadoop MapReduce任务，如图1所示。 图1 Oozie框架 图1中各部分的功能说明如表1所示。 表1 结构图说明 名称 描述 Console 提供对Oozie流程的查看和监控功能。 Client 通过接口控制Workflow流程：可以执行提交流程，启动流程，运行流程，终止流程，恢复流程等操作。 SDK 软件开发工具包SDK（SoftwareDevelopmentKit）是被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。 Database pg数据库。 WebApp（Oozie） WebApp（Oozie）即Oozie server，可以用内置的Tomcat容器，也可以用外部的，记录的信息比如日志等放在pg数据库中。 Tomcat Tomcat服务器是免费的开放源代码的Web应用服务器。 Hadoop组件 底层执行Oozie编排流程的各个组件，包括MapReduce、Hive等。

特性简介 MRS提供标准的云上弹性大数据集群，目前可安装部署包括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求，例如如下几种场景： 通用的操作系统配置不能满足实际数据处理需求，例如需调大系统最大连接数。 需要安装自身业务所需的软件工具或运行环境，例如需安装Gradle、业务需要依赖R语言包。 根据自身业务对大数据组件包做修改，例如对Hadoop或Spark安装包做修改。 需要安装其他MRS还未支持的大数据组件。 对于上述定制化的场景，可以选择登录到每个节点上手动操作，之后每扩容一个新节点，再执行一次同样的操作，操作相对繁琐，也容易出错。同时手动执行记录不便追溯，不能实现“按需创建、创建成功后即处理数据”的目标。 因此，MRS提供了自定义引导操作，在启动集群组件前（或后）可以在指定的节点上执行脚本。用户可以通过引导操作来完成安装MRS还没支持的第三方软件，修改集群运行环境等自定义操作。如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行用户指定的脚本，脚本内部可以通过su - xxx命令切换用户。