华为云用户手册

更多操作 任务创建完成后，您可以执行如表2所示的操作。 表2 相关操作 操作 说明 编辑任务 单击任务列表中的任务名称，进入任务详情页面，单击“编辑”，编辑评估模板配置信息，单击“保存”。 删除任务 单击任务列表操作列的“删除”，在弹出的提示框中单击“确定”，删除评估任务。 查看评估效果 单击任务列表操作列的“评估效果”，进入效果评估页面，查看评估详细信息，具体介绍请参见查看评估效果。 克隆任务 单击任务列表操作列的“克隆”，进入克隆任务页面，可以根据需要修改评估模板参数，单击“保存”，任务列表中生成一条评估任务。

更多操作 部门添加成功后，您还可以进行如下表1所示的操作。 表1 更多操作 操作名称 操作步骤 编辑部门 单击待修改部门所在行“操作”列下的“编辑部门”。 修改部门信息，单击“更新”。 说明： 组织创建成功后，会默认生成一个一级部门，该一级部门不支持编辑。 删除部门 单击待删除部门所在行“操作”列下的“删除”。 单击“确认”。 说明： 删除部门前，需要先删除该部门下所有子部门，否则无法删除部门。 删除部门后，数据无法恢复，请谨慎操作。

前提条件 需要具备AppStage服务运维岗位权限，权限申请操作请参见申请权限。 规划隔离域 隔离域是一个逻辑上的安全分组，为具有相同安全保护需求并互相信任的服务提供访问策略，当服务器加入到隔离域后，即受到这些访问规则的保护。在创建实例时，需要选择实例所属的隔离域，请提前规划好隔离域，具体操作请参见隔离域规划。 新服务或租户确认是否配置EPS信息。 通过AppStage申请对应服务华为云账号下的资源时，需要获取租户的EPS，如果租户没有绑定EPS，会导致在AppStage上申请资源失败。具体介绍请参见录入EPS配置。

更多操作 微服务注册完成后，您可以执行如表1的操作。 表1 操作说明 操作 说明 修改微服务注册信息 单击微服务列表操作列的“修改”，可以配置如下信息： 访问能力表 ACL列表 如果业务要使用ACMS的认证功能，需要在被调用方（Provider）端配置ACL列表，让相应的调用方（Consumer）端微服务可以获取Provider端微服务的认证凭据。 在ACL列表区域，单击“添加”，选择服务名称和微服务名称，单击操作列的“提交”，添加一条ACL配置。 单击ACL列表操作列的“删除”，即可删除ACL配置。 说明： 添加ACL配置时，服务名称需要输入全称进行搜索，不支持模糊查询。 添加ACL配置后，由于存在缓存机制，配置需要等待10分钟左右生效。 仅在需要使用ACMS认证的情况下才配置ACL，如果业务使用ACMS签发的证书进行HTTPS双向认证，或者仅使用了敏感配置项管理的功能，则不需要配置ACL。 删除微服务 单击微服务列表操作列的“删除”，删除微服务。

前提条件 需要具备AppStage服务运维岗位权限，权限申请操作请参见申请权限。 确保服务B已经注册。 如果服务B下有一个微服务C，是服务B自带的，不是迁移过来的，微服务A是需要迁移的微服务，则使用微服务C注册服务B。 如果服务B下只有两个微服务，微服务A和微服务B都是需要迁移的，那么随机选择微服务A或微服务B注册，然后删除该微服务（删除微服务不会删除服务），即可成功注册服务B。 确保新服务下没有注册要迁移的微服务。 如果新服务下已经注册了需要迁移的微服务，在确保新微服务还没有被部署的情况下，需要删除该微服务，再做迁移。 如果业务已经提前在新服务下注册了需要迁移的微服务，并且已经被部署，则业务需要评估是否有必要保持密钥一致，如果不需要保持密钥一致，则可以做敏感配置迁移，不需要做微服务迁移。如果必须保持密钥一致，则需要评估删除微服务再迁移微服务对业务的影响。是否需要保持秘钥一致的评估标准如下： 如果作为被调用方，提供服务给云服务内多个业务，其他业务和该微服务之间使用STS认证，那么需要保持密钥不变。 如果只是作为调用方使用STS认证访问其他微服务，用STS托管敏感配置项，加密中间件口令等，那就不需要保持密钥不变。

修订记录 版本日期 变更说明 2024-03-29 本次变更如下： 更新支持的云服务章节。 2023-07-26 本次变更如下： 新增约束与限制章节。 2023-06-15 本次变更如下： 新增管理资源标签章节。 2022-10-30 本次变更如下： 新增安全章节。 2021-09-10 本次变更如下： 新增： 新增最多可以创建多少个企业项目？章节。 新增资源迁入/迁出企业项目会影响资源所在的VPC和网段吗？章节。 新增如何实现同账号下不同子用户只能看到特定的企业项目而看不到该账号下的其他企业项目？章节。 2021-07-16 本次变更如下： Console产品目录变更：中文“管理与部署”入口更名为“管理与监管”，英文“计算”入口更名。 2021-04-30 本次变更如下： 新增：关于配额。 2021-01-21 本次变更如下： 更新“如何开通企业项目”章节：开通企业项目入口不支持从账号基本信息进入，支持从项目管理入口进入。 2021-01-11 本次变更如下： 新增“多项目管理实践案例”章节。 新增常见问题“ IAM 用户和企业子账号的区别”章节。 2020-10-30 本次变更如下： 项目类型新增测试类项目特性：新增“测试类项目转商用生产项目”章节。 资源管理新增用户特性：新增“如何管理企业项目用户”章节。 2020-09-30 本次变更如下： 增加常见问题：使用企业管理Java Python SDK获取不到企业项目的排查方式。 父主题： 项目管理

查看审计日志 通过 云审计 服务，您可以记录与云运维中心服务相关的操作事件，便于日后的查询、审计和回溯。支持审计的关键操作如表1所示 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建warroom WarRoom createWarRoom 创建起会规则 MeetingRule createMeetingRule 删除起会规则 MeetingRule deleteMeetingRule 修改起会规则 MeetingRule updateMeetingRule 修改warroom信息 WarRoom modifyWarRoomInfo warroom发送通知简报 NotificationBriefing sendNotificationBriefing 添加warroom成员 WarRoom addWarRoomMember 移除warroom成员 WarRoom deleteWarRoomMember 创建warroom影响应用 ImpactApplication createImpactApplication 修改warroom影响应用 ImpactApplication updateImpactApplication 删除warroom影响应用 ImpactApplication deleteImpactApplication 执行动作 Ticket actionTicket 新建工单 Ticket createTicket 修改Ticket Ticket updateTicket 删除Ticket Ticket deleteTicketInfo 上传附件 Attachment uploadFileTicket 下载文件 Attachment downloadFileTicket 更新集成配置key IntegrationConfig updateIntegrationConfigKey 接入集成 IntegrationConfig accessIntegrationConfig 禁用集成 IntegrationConfig disableIntegrationConfig 启用集成 IntegrationConfig enableIntegrationConfig 解除集成 IntegrationConfig removeIntegrationConfig 新增流转规则 TransferRule createTransferRules 编辑流转规则 TransferRule updateTransferRules 删除流转规则 TransferRule deleteTransferRules 禁用流转规则 TransferRule disableTransferRules 启用流转规则 TransferRule enableTransferRules 退订 NotificationRule disableNotificationRule 订阅 NotificationRule enableNotificationRule 新增订阅 NotificationRule createNotificationRule 删除订阅 NotificationRule deleteNotificationRule 修改订阅信息 NotificationRule updateNotificationRule 创建排班场景 ScheduleScene createSceneOncall 删除排班场景 ScheduleScene deleteSceneOncall 更新排班场景 ScheduleScene updateSceneOncall 创建排班角色 ScheduleRole createRoleOncall 更新排班角色 ScheduleRole updateRoleOncall 删除排班角色 ScheduleRole deleteRoleOncall 删除固定排班用户 ScheduleUser deleteGlobalFixed 全局固定排班添加用户 ScheduleUser createGlobalFixed 更新固定排班用户 ScheduleUser updatePersonnelsOncall 一键清空轮班 ScheduleUser batchDeleteShift 批量创建轮班人员 ScheduleUser batchCreateShift 单独更新某一天的排班人 ScheduleUser UpdateUserShift 创建排班场景和角色 ScheduleRole createRoleOncall 创建自定义脚本 Document createJobScript 删除自定义脚本 Document deleteJobScript 修改自定义脚本 Document editJobScript 审批自定义脚本 Document approveJobScript 执行脚本 Document executeJobScript 操作脚本工单 Job jobScriptOrderOperation 创建自定义作业 Document CreateRunbook 删除自定义作业 Document DeleteRunbook 修改自定义作业 Document EditRunbook 审批自定义作业 Document ApproveRunbook 执行自定义作业 Job ExecuteRunbook 执行公共作业 Job ExecutePublicRunbook 操作作业工单 Job OperateJobTicket

解决方案 本章节介绍如何通过 云日志服务LTS ，实现上云应用的 日志分析 和管理。 云日志 服务通过收集和管理各类日志，提供运维保障，帮助用户解决日常运维过程中的问题。 日志接入：实时采集散落在不同主机的分布式应用日志，并且提供E CS /CCE等周边云服务日志管理入口，方便用户利用这些日志进行业务运维分析。 日志搜索：通过搜索日志中的关键词，比如错误码、异常的堆栈详情等，能有效识别运行异常的应用，并快速定位问题发生的原因。 日志分析：LTS提供内容对日志进行结构化配置，将日志拆分成键值对，用户可以通过SQL聚合分析某时间段内事件类型和异常，再通过可视化报表清晰的展示出来。如统计1天内所有URI请求404的错误条数、分析1周内的UV（用户实际单击网站次数）或PV（网站的业务访问量）、分析1周WAF日志中的攻击事件。 日志告警：实时监控日志中的异常信息，用户通过配置关键词告警或SQL告警，实时监控日志中的异常信息，并通过短信或邮件的方式通知用户。 日志转储：将日志转储至OBS中长期存储，方便问题回溯和日志审计；也可转储至DIS服务做大数据分析和业务系统二次开发，提升日志数据价值、提高后期日常运维效率。

终端节点 终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 运筹优化算法服务的终端节点如表1所示，请您根据业务需要选择对应区域的终端节点。 表1 运筹优化算法服务的终端节点 区 域名 称 区域 终端节点（Endpoint） 部署服务 华北-北京四 cn-north-4 optverse.cn-north-4.myhuaweicloud.com 二维切割，求解器 父主题： 使用前必读

调用二维切割服务 单击左侧导航栏“OptVerse-2dcut-AddTask”，选中“Headers”配置项，复制获取到的ProjectId值到URL处，AppCode值到“X-Apig-AppCode”。 单击“Body”，查看已有的简单的输入数据，也可以根据API说明，填入自己的数据。 单击右上角“Send”按钮发送请求，返回异步计算的任务标识task_id，如图 获取task_id所示。 若输入数据错误则会提示错误原因，如图所示。 单击左侧导航栏“OptVerse-2dcut-QueryTask”，选中“Headers”配置项，复制AppCode值到“X-Apig-AppCode”。 复制步骤3获取的task_id到API路径的末尾，如上图所示。 单击右上角“Send”按钮发送请求，若计算已完成，则返回任务结果： 否则返回任务状态： 父主题： 调用服务

操作步骤 登录云审计服务控制台。 单击左侧导航树的“事件列表”，进入事件列表信息页面。 事件列表支持通过筛选来查询对应的操作事件。当前事件列表支持四个维度的组合查询，详细信息如下： 事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。 其中筛选类型选择事件名称时，还需选择某个具体的事件名称。 选择资源ID时，还需选择或者手动输入某个具体的资源ID。 选择资源名称时，还需选择或手动输入某个具体的资源名称。 操作用户：在下拉框中选择某一具体的操作用户，此操作用户指用户级别，而非租户级别。 事件级别：可选项为“所有事件级别”、“normal”、“warning”、“incident”，只可选择其中一项。 时间范围：可选择查询最近七天内任意时间段的操作事件。

Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN Cluster和YARN Client。 YARN Cluster模式 运行框架如图3所示。 图3 Spark on yarn-cluster运行框架 Spark on YARN-Cluster实现流程： 首先由客户端生成Application信息，提交给ResourceManager。 ResourceManager为Spark Application分配第一个Container(ApplicationMaster)，并在该Container上启动Driver。 ApplicationMaster向ResourceManager申请资源以运行Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 Driver分配Task给Executor执行。 Executor执行Task并向Driver汇报运行状况。 YARN Client模式 运行框架如图4所示。 图4 Spark on yarn-client运行框架 Spark on YARN-Client实现流程： 在YARN-Client模式下，Driver部署在Client端，在Client端启动。YARN-Client模式下，不兼容老版本的客户端。推荐使用YARN-Cluster模式。 客户端向ResourceManager发送Spark应用提交请求，Client端将启动ApplicationMaster所需的所有信息打包，提交给ResourceManager上，ResourceManager为其返回应答，该应答中包含多种信息（如ApplicationId、可用资源使用上限和下限等）。ResourceManager收到请求后，会为ApplicationMaster寻找合适的节点，并在该节点上启动它。ApplicationMaster是Yarn中的角色，在Spark中进程名字是ExecutorLauncher。 根据每个任务的资源需求，ApplicationMaster可向ResourceManager申请一系列用于运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 正在运行的Container不会被挂起释放资源。 Driver分配Task给Executor执行。Executor执行Task并向Driver汇报运行状况。

Spark和HDFS的关系 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端(Driver)和执行端（Executor）。控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，创建多个Task去读取这些文件Block。 在Executor端执行Task并读取具体的Block，作为RDD（弹性分布数据集）的一部分。 写入文件的过程如图2所示。 图2 写入文件过程 HDFS文件写入的详细步骤如下所示： Driver创建要写入文件的目录。 根据RDD分区分块情况，计算出写数据的Task数，并下发这些任务到Executor。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。

特性描述 MRS 联合 消息通知 服务( SMN )，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 首先，作为主题拥有者，可以先创建一个主题，并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。MRS将集群消息发送至您有权限发布消息的主题，然后所有订阅了该主题的订阅者（可以是手机短信、邮箱等）都将收到集群变更以及组件告警的消息。 图1 实现过程

特性简介 大数据集群运行过程中经常会进行如下操作： 大数据集群变更，比如扩容、缩容集群。 业务数据量突然变化，集群触发弹性伸缩。 相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不用频繁登录集群查看，就可以及时地收到告警通知。MRS联合消息通知服务(SMN)，可以将以上信息主动地通知到用户的手机及邮箱，让维护更加省心省力。

MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto、Impala、Kudu、Sqoop等组件，可以根据不同集群版本选择不同的组件，具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。 LTS版 功能说明 LTS版集群除支持集群基础操作外，还提供版本升级能力。如需使用该功能请联系智能数据专家服务。 组件介绍 除共有组件外，LTS版集群还支持HetuEngine、IoTDB等组件，可以根据不同集群版本选择不同的组件，具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。

MRS集群版本选择建议 LTS版集群支持版本升级能力，如果您需要使用版本升级能力，您可以选择购买LTS版集群。 LTS版集群具备多可用区部署能力，可以实现集群可用区级别的容灾。如果您需要MRS集群具备更高的安全性能和容灾能力，您可以选择购买LTS版集群。 LTS版集群支持HetuEngine、IoTDB等组件，如果您需要使用相关组件，您可以选择购买LTS版集群。 由于已购买的LTS版集群无法切换为普通版，请根据需要选择购买。

Hudi支持两种表类型 Copy On Write 写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表，使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据，Avro格式文件（也可叫做log文件）用于存储增量数据。 优点：由于写入数据先写delta log，且delta log较小，所以写入成本较低。 缺点：需要定期合并整理compact，否则碎片文件较多。读取性能较差，因为需要将delta log和老数据文件合并。

Hudi支持三种视图，针对不同场景提供相应的读能力 Snapshot View 实时视图：该视图提供当前hudi表最新的快照数据，即一旦有最新的数据写入hudi表，通过该视图就可以查出刚写入的新数据。 cow表和mor均支持这种视图能力。 Incremental View 增量视图：该视图提供增量查询的能力，可以查询指定COMMIT之后的增量数据，可用于快速拉取增量数据。 cow表支持该种视图能力， mor表也可以支持该视图，但是一旦mor表完成compact操作其增量视图能力消失。 Read Optimized View 读优化视图：该视图只会提供最新版本的parquet文件中存储的数据。 该视图在cow表和mor表上表现不同： 对于cow表，该视图能力和实时视图能力是一样的（cow表只用parquet文件存数据）。 对于mor表，仅访问基本文件，提供给定文件片自上次执行compact操作以来的数据， 可简单理解为该视图只会提供mor表parquet文件存储的数据，log文件里面的数据将被忽略。 该视图数据并不一定是最新的，但是mor表一旦完成compact操作，增量log数据被合入到了base数据里面，这个时候该视图和实时视图能力一样。

Yarn和MapReduce的关系 MapReduce是运行在Yarn之上的一个批处理的计算框架。MRv1是Hadoop 1.0中的MapReduce实现，它由编程模型（新旧编程接口）、运行时环境（由JobTracker和TaskTracker组成）和数据处理引擎（MapTask和ReduceTask）三部分组成。该框架在扩展性、容错性（JobTracker单点）和多框架支持（仅支持MapReduce一种计算框架）等方面存在不足。MRv2是Hadoop 2.0中的MapReduce实现，它在源码级重用了MRv1的编程模型和数据处理引擎实现，但运行时环境由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源管理系统，而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。

Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn Cluster模式 运行框架如图1所示。 图1 Spark on yarn-cluster运行框架 Spark on yarn-cluster实现流程： 首先由客户端生成Application信息，提交给ResourceManager。 ResourceManager为Spark Application分配第一个Container(ApplicationMaster)，并在该Container上启动Driver。 ApplicationMaster向ResourceManager申请资源以运行Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 Driver分配Task给Executor执行。 Executor执行Task并向Driver汇报运行状况。 Yarn Client模式 运行框架如图2所示。 图2 Spark on yarn-client运行框架 Spark on yarn-client实现流程： 在yarn-client模式下，Driver部署在Client端，在Client端启动。yarn-client模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返回应答，该应答中包含多种信息（如ApplicationId、可用资源使用上限和下限等）。Client端将启动ApplicationMaster所需的所有信息打包，提交给ResourceManager上。 ResourceManager收到请求后，会为ApplicationMaster寻找合适的节点，并在该节点上启动它。ApplicationMaster是Yarn中的角色，在Spark中进程名字是ExecutorLauncher。 根据每个任务的资源需求，ApplicationMaster可向ResourceManager申请一系列用于运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 正在运行的Container不会被挂起释放资源。 Driver分配Task给Executor执行。Executor执行Task并向Driver汇报运行状况。

Yarn和ZooKeeper的关系 ZooKeeper与Yarn的关系如图3所示。 图3 ZooKeeper与Yarn的关系 在系统启动时，ResourceManager会尝试把选举信息写入ZooKeeper，第一个成功写入ZooKeeper的ResourceManager被选举为Active ResourceManager，另一个为Standby ResourceManager。Standby ResourceManager定时去ZooKeeper监控Active ResourceManager选举信息。 Active ResourceManager还会在ZooKeeper中创建Statestore目录，存储Application相关信息。当Active ResourceManager产生故障时，Standby ResourceManager会从Statestore目录获取Application相关信息，恢复数据。

元数据管理 当创建MRS集群选择部署Hive和Ranger组件时，MRS提供多种元数据存储方式，您可以根据自身需要进行选择： 本地元数据：元数据存储于集群内的本地 GaussDB 中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置数据连接：MRS集群创建完成后，可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库或云数据库GaussDB(for MySQL)、也可以选择与当前集群同一虚拟私有云和子网的LakeFormation实例，元数据将存储于关联的数据库或LakeFormation实例中，不会随当前集群的删除而删除，多个MRS集群可共享同一份元数据。 Hive组件可选元数据存储方式功能在MRS 1.9.x及之后版本支持。 父主题： 产品功能

Spark和HDFS的关系 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端(Driver)和执行端（Executor）。控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图 读取文件过程所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，创建多个Task去读取这些文件Block。 在Executor端执行Task并读取具体的Block，作为RDD(弹性分布数据集)的一部分。 写入文件的过程如图 写入文件过程所示。 图2 写入文件过程 HDFS文件写入的详细步骤如下所示： Driver创建要写入文件的目录。 根据RDD分区分块情况，计算出写数据的Task数，并下发这些任务到Executor。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。

Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN Cluster和YARN Client。 YARN Cluster模式 运行框架如图 Spark on yarn-cluster运行框架所示。 图3 Spark on yarn-cluster运行框架 Spark on yarn-cluster实现流程： 首先由客户端生成Application信息，提交给ResourceManager。 ResourceManager为Spark Application分配第一个Container(ApplicationMaster)，并在该Container上启动Driver。 ApplicationMaster向ResourceManager申请资源以运行Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 Driver分配Task给Executor执行。 Executor执行Task并向Driver汇报运行状况。 YARN Client模式 运行框架如图 Spark on yarn-client运行框架所示。 图4 Spark on yarn-client运行框架 Spark on yarn-client实现流程： 在yarn-client模式下，Driver部署在Client端，在Client端启动。yarn-client模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返回应答，该应答中包含多种信息(如ApplicationId、可用资源使用上限和下限等)。Client端将启动ApplicationMaster所需的所有信息打包，提交给ResourceManager上。 ResourceManager收到请求后，会为ApplicationMaster寻找合适的节点，并在该节点上启动它。ApplicationMaster是Yarn中的角色，在Spark中进程名字是ExecutorLauncher。 根据每个任务的资源需求，ApplicationMaster可向ResourceManager申请一系列用于运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 正在运行的container不会被挂起释放资源。 Driver分配Task给Executor执行。Executor执行Task并向Driver汇报运行状况。

ClickHouse应用场景 ClickHouse是Click Stream + Data WareHouse的缩写，起初应用于一款Web流量分析工具，基于页面的点击事件流，面向 数据仓库 进行OLAP分析。当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域，非常适用于商业智能化应用场景，在全球有大量的应用和实践，具体请参考：https://clickhouse.tech/docs/en/introduction/adopters/。

ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 ClickHouse核心的功能特性介绍如下： 完备的DBMS功能 ClickHouse拥有完备的DBMS数据库管理系统（Database Management System），基本功能如下所示。 DDL （数据定义语言）：可以动态地创建、修改或删除数据库、表和视图，而无须重启服务。 DML（数据操作语言）：可以动态查询、插入、修改或删除数据。 权限控制：可以按照用户粒度设置数据库或者表的操作权限，保障数据的安全性。 数据备份与恢复：提供了数据备份导出与导入恢复机制，满足生产环境的要求。 分布式管理：提供集群模式，能够自动管理多个数据库节点。 列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库，数据按列进行组织，属于同一列的数据会被保存在一起，列与列之间也会由不同的文件分别保存。 在执行数据查询时，列式存储可以减少数据扫描范围和数据传输时的大小，提高了数据查询的效率。 例如在传统的行式数据库系统中，数据按如下表1顺序存储： 表1 行式数据库 row ID Flag Name Event Time 0 12345678901 0 name1 1 2020/1/11 15:19 1 32345678901 1 name2 1 2020/5/12 18:10 2 42345678901 1 name3 1 2020/6/13 17:38 N … … … … … 行式数据库中处于同一行中的数据总是被物理的存储在一起，而在列式数据库系统中，数据按如下表2顺序存储： 表2 列式数据库 row: 0 1 2 N ID: 12345678901 32345678901 42345678901 … Flag: 0 1 1 … Name: name1 name2 name3 … Event: 1 1 1 … Time: 2020/1/11 15:19 2020/5/12 18:10 2020/6/13 17:38 … 该示例中只展示了数据在列式数据库中数据的排列方式。对于存储而言，列式数据库总是将同一列的数据存储在一起，不同列的数据也总是分开存储，列式数据库更适合于OLAP（Online Analytical Processing）场景。 向量化执行引擎 ClickHouse利用CPU的SIMD指令实现了向量化执行。SIMD的全称是Single Instruction Multiple Data，即用单条指令操作多条数据，通过数据并行以提高性能的一种实现方式 ( 其他的还有指令级并行和线程级并行 )，它的原理是在CPU寄存器层面实现数据的并行操作。 关系模型与SQL查询 ClickHouse完全使用SQL作为查询语言，提供了标准协议的SQL查询接口，使得现有的第三方分析可视化系统可以轻松与它集成对接。 同时ClickHouse使用了关系模型，所以将构建在传统关系型数据库或数据仓库之上的系统迁移到ClickHouse的成本会变得更低。 数据分片与分布式查询 ClickHouse集群由1到多个分片组成，而每个分片则对应了ClickHouse的1个服务节点。分片的数量上限取决于节点数量（1个分片只能对应1个服务节点）。 ClickHouse提供了本地表 （Local Table）与分布式表 （Distributed Table）的概念。一张本地表等同于一份数据的分片。而分布式表本身不存储任何数据，它是本地表的访问代理，其作用类似分库中间件。借助分布式表，能够代理访问多个数据分片，从而实现分布式查询。

运维支撑 MRS集群的资源完全属于用户，通常情况下，当集群出现问题需要运维人员支撑时，运维人员无法直接访问该集群。为了更好的服务客户，MRS提供两种方式来减少定位问题时的信息传递： 日志共享：用户可以在MRS页面发起日志共享，选择日志范围共享给运维人员，以便运维人员在不接触集群的情况下帮助定位问题。 运维授权：MRS服务提供运维授权功能，用户在使用MRS集群过程中，发生问题可以在MRS页面发起运维授权，由运维人员帮助用户快速定位问题，用户可以随时收回该授权。

节点可靠性 操作系统健康状态监控 周期采集操作系统硬件资源使用率数据，包括CPU、内存、硬盘、网络等资源的使用率状态。 进程健康状态监控 MRS提供业务实例的状态以及业务实例进程的健康指标的检查，能够让用户第一时间感知进程健康状态。 硬盘故障的自动处理 MRS对开源版本进行了增强，可以监控各节点上的硬盘以及文件系统状态。如果出现异常，立即将相关分区移出存储池；如果硬盘恢复正常（通常是因为用户更换了新硬盘），也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作，更换故障硬盘可以在线完成；同时用户可以设置热备盘，从而极大缩减了故障硬盘的修复时间，有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM（Logic Volume Management），多个磁盘规划成一个逻辑卷组。配置成LVM可以避免各磁盘间使用不均的问题，保持各个磁盘间均匀使用在HDFS和Kafka等能够利用多磁盘能力的组件上尤其重要。并且LVM可以支持磁盘扩容时不需要重新挂载，避免了业务中断。

系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的，单节点故障不影响系统整体运行；而以集中模式运作的管理节点可能出现的单点故障，就成为整个系统可靠性的短板。 MRS对所有业务组件的管理节点都提供了类似的双机的机制，包括Manager、HDFS NameNode、HiveServer、HBase HMaster、YARN ResourceManager、KerberosServer、LdapServer等，全部采用主备或负荷分担配置，有效避免了单点故障场景对系统可靠性的影响。 异常场景下的可靠性保证 通过可靠性分析方法，梳理软件、硬件异常场景下的处理措施，提升系统的可靠性。 保障意外掉电时的数据可靠性，不论是单节点意外掉电，还是整个集群意外断电，恢复供电后系统能够正常恢复业务，除非硬盘介质损坏，否则关键数据不会丢失。 硬盘亚健康检测和故障处理，对业务不造成实际影响。 自动处理文件系统的故障，自动恢复受影响的业务。 自动处理进程和节点的故障，自动恢复受影响的业务。 自动处理网络故障，自动恢复受影响的业务。 数据备份与恢复 为应对数据丢失或损坏对用户业务造成不利影响，在异常情况下快速恢复系统，MRS根据用户业务的需要提供全量备份、增量备份和恢复功能。 自动备份 MRS对集群管理系统Manager上的数据提供自动备份功能，根据制定的备份策略可自动备份集群上的数据，包括LdapServer、DBService的数据。 手动备份 在系统进行扩容、打补丁等重大操作前，需要通过手动备份集群管理系统的数据，以便在系统故障时，恢复集群管理系统功能。 为进一步提供系统的可靠性，在将Manager、HBase上的数据备份到第三方服务器时，也需要通过手动备份。