检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
合理配置最大并发数 ClickHouse处理速度快是因为采用了并行处理机制，即使一个查询，默认也会用服务器一半的CPU去执行，所以ClickHouse对高并发查询的场景支持的不够。官方默认的最大并发数是100，可以根据实际场景调整并发配置，建议不超过200。 部署负载均衡组件，查询基于负载
Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任
实例”，单击需要查看日志的实例名称，进入实例状态页面。 在“日志”区域，单击要查看的日志文件名称，即可在线预览对应日志内容。 在“主机”页面单击主机名称，在主机详情页面的“实例”区域，也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行，可单击“加载更多”按钮查看更多日志
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀
ClickHouse系统调优 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况，确认这些资源是否已被充分利用，分以下几种情况： 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀，说明系统资源使用比较正常，可以先不关注
r规格任务。 节点规格升级过程需要时间，升级成功后集群状态更新为“运行中”，请您耐心等待。 升级过程中集群会自动关闭升级的虚拟机，升级完成后自动开启该虚拟机 。 因用户对组件使用需求不同，节点规格升级成功后不会自动更新组件内存配置，用户可根据实际使用情况自行调整各组件内存配置。
with_ttl_in_queue CPU核数一半 在ReplicatedMergeTree队列中允许同时使用TTL合并部件的任务数。 merge_tree.max_number_of_merges_with_ttl_in_pool CPU核数 在ReplicatedMergeT
with_ttl_in_queue CPU核数一半 在ReplicatedMergeTree队列中允许同时使用TTL合并部件的任务数。 merge_tree.max_number_of_merges_with_ttl_in_pool CPU核数 在ReplicatedMergeT
作业操作：在管理控制台创建作业、停止作业和删除作业。 数据操作：IAM用户任务、新增用户、新增用户组等操作。 查看云服务操作日志 登录MRS管理控制台。 单击“操作日志”，查看日志详情。 日志列表默认按时间顺序排列，时间最近的日志显示在最前端。 日志信息中的各字段说明如表1所示。 表1
配置MRS集群对接Syslog服务器上报告警 如果用户需要在统一的告警平台查看集群的告警和事件，管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和
针对bucket表的写入资源配置，建议给的CPU核心数量不小于桶数目 （分区表每次可能写入多个分区，理想情况下建议给的CPU核心数量=写入分区*分桶数；实际配置的core小于这个值，写入性能线性下降）。 示例： 当前表bucket数为3，同时写入分区数为2， 建议入库Spark任务配置的core数量大于等于3*2。
WebUI界面 查看Loader作业的历史记录。 选择待查看的作业所在行。 如图所示，选择“更多>历史记录”查看作业执行的历史记录。 图2 查看历史记录 表1 参数说明 名称 说明 行/文件 读取数 从输入源中读取的行数（文件数）。 行/文件 写入数 写入到输出源的行数（文件数）。 行/文件
通过管理控制台查看集群事件 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择“告警管理 > 事件”查看事件信息。 单击“全部导出”。在弹框内选择保存类型，单击“确定”可导出事件。 通过Manager查看集群事件 MRS 3
如果用户需要在统一的运维网管平台查看集群的告警、监控数据，管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情，以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
如果已经开启逻辑集群，则按需选择需要关联的逻辑集群。 “CPU优先级”：CPU优先级取值范围为-20~19，该值关联OS的NICE值，取值越小，CPU优先级越高。如需开启CPU优先级请参考开启ClickHouse租户CPU优先级配置。 “内存”：内存限制为百分比，如该值设置为80
为达到最优性能，可配置为集群中节点最小物理内存的90%。 yarn.nodemanager.resource.cpu-vcores 可分配给container的CPU核数。 8 为达到最优性能，可配置为集群中节点最小CPU vCores。 yarn.scheduler.maximum-allocation-mb
3/DataNode节点数。 表2 DataNode支持规格 项目 规格 单个DataNode实例支持最大Block数 5,000,000 单个DataNode实例上单个磁盘支持最大Block数 500,000 单个DataNode实例支持最大Block数需要的最小磁盘数 10 表3 DataNode节点数规划
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 进入Kafka服务页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Kafka”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
