华为云用户手册

  • Hue连接HiveServer报错“over max user connections”如何处理? 适用版本: MRS 3.1.0及之前的MRS 3.x版本。 修改所有Hue节点上的以下配置文件: /opt/Bigdata/ FusionInsight _Porter_8.*/install/FusionInsight-Hue-*/hue/apps/beeswax/src/beeswax/models.py 修改文件中的396和404行的值。 q = self.filter(owner=user, application=application).exclude(guid='').exclude(secret='') 修改为: q = self.filter(owner=user, application=application).exclude(guid=None).exclude(secret=None) 图1 修改Hue配置文件 父主题: 组件配置类
  • 如何修改FlumeClient的日志为标准输出日志? 登录Flume客户端安装节点。 进入Flume客户端安装目录,假设Flume客户端安装路径为“/opt/FlumeClient”,可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin 执行./flume-manage.sh stop force命令,停止FlumeClient。 执行vi ../conf/log4j.properties命令,打开log4j.properties文件,修改“flume.root.logger”的取值为“${flume.log.level},console”。 执行./flume-manage.sh start force命令,重启FlumeClient。 修改完成后,请检查docker配置信息是否正确。 父主题: 组件配置类
  • 如何查看指定Yarn任务的日志? 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 执行以下命令获取指定任务的日志信息。 yarn logs -applicationId 待查看作业的application_ID 父主题: 作业管理类
  • 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组,把1中已安装的ICAgent的主机加到主机组里面。 在 云日志 服务管理控制台,单击“主机管理”,进入主机管理页面,单击右上角“新建主机组”。 在弹出的新建主机组页面,输入“主机组名称”,选择主机类型“Linux主机”或“Windows主机”。 在列表中选择需要加入该主机组的主机,单击“确定”,完成主机组的创建。 可以通过主机名称或主机IP对列表进行过滤,也可以单击“批量搜索主机IP”,并在弹出的搜索框中输入多个主机IP,进行批量搜索。 当列表中没有所需主机时,单击“安装ICAgent”,在弹出的页面安装指引完成主机安装。 创建日志组。 登录云日志服务管理控制台,在“日志管理”页面单击“创建日志组”。 在“创建日志组”页面中,输入日志组名称,名称需要满足如下要求: 只支持输入英文、数字、中文、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 在“企业项目”处选择业务需要的企业项目,也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 输入“日志存储时间”,如果不设置,系统默认存储时间为30天。日志组创建后,日志存储时间支持修改。 云日志服务的计费单位为日志使用量,免费额度为500MB/月,包括日志读写、日志存储和日志索引,超过免费额度后将按照日志使用量进行收费。 单击“确定”,完成日志组的创建。 在“日志管理”页面中,可以查看日志组名称、日志存储时间、创建时间、创建类型和标签(支持修改)。单击日志组操作列的“修改”可修改日志组名称和日志存储时间。 单击日志组名称,可跳转到日志流详情页面。 创建日志流。 在云日志服务管理控制台,单击日志组名称对应的下拉按钮。 单击展开页面左上角的“创建日志流”,输入日志流名称,名称需要满足如下要求: 只支持输入英文、数字、中文、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 在“企业项目”处选择业务需要的企业项目,也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 单击“确定”,完成日志流的创建。 在日志流页面中,可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。 可以给不同的组件设置不同的日志流进行区分。 主机接入。 在云日志服务管理控制台,单击“日志接入”。 在“全部分类”页签单击“云主机E CS ”。 在“选择日志流”中,“所属日志组”和“所属日志流”选择创建的日志组和日志流名称,单击“下一步”。 在“选择主机组(可选)”中勾选2创建的主机组,单击“下一步”。 在“采集配置”中,输入“采集配置名称”和“路径配置”,单击“下一步”。 路径配置: 采集路径可以配置多条,单击“添加采集路径”可以添加采集路径。 采集路径不能重复配置,即同一主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 采集路径支持递归路径,**表示递归5层目录。 采集路径支持模糊匹配,匹配目录或文件名中的任何字符。 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。 例如,配置如下采集路径: Yarn任务日志路径: /srv/BigData/*/nm/containerlogs/**/container-localizer-syslog /srv/BigData/*/nm/containerlogs/**/directory.info /srv/BigData/*/nm/containerlogs/**/launch_container.sh /srv/BigData/*/nm/containerlogs/**/prelaunch.err /srv/BigData/*/nm/containerlogs/**/prelaunch.out /srv/BigData/*/nm/containerlogs/**/stderr /srv/BigData/*/nm/containerlogs/**/stdout /srv/BigData/*/nm/containerlogs/**/syslog* /srv/BigData/*/nm/containerlogs/**/*.log HDFS服务全部日志: /var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log /var/log/Bigdata/audit/hdfs/jn/SecurityAuth.audit /var/log/Bigdata/hdfs/*/ 其他组件可以参考HDFS服务日志进行配置。 “索引配置”直接跳过并提交。 如果需要配置“索引配置”请参考《云日志服务》相关章节。 查看日志。 在云日志服务管理控制台,单击“日志管理”。 在“日志组名称”中单击创建的日志组名称,可查看当前日志组的相关日志。
  • Hive使用beeline -e执行多条语句报错如何处理? MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错: Error while compiling statement: FAILED: ParseException line 1:11 missing EOF at ';' near 'default' (state=42000,code=40000) 处理方法: 方法一:使用beeline --entirelineascommand=false -e "use default;show tables;"命令。 方法二: 在Hive客户端如“/opt/Bigdata/client/Hive”目录下修改component_env文件,修改export CLIENT_HIVE_ENTIRELINEASCOMMAND=true为export CLIENT_HIVE_ENTIRELINEASCOMMAND=false。 图1 修改component_env文件 执行如下命令验证配置。 source /opt/Bigdata/client/bigdata_env beeline -e "use default;show tables;" 父主题: 组件配置类
  • MRS集群内节点互信异常如何处理? 当Manager报“ALM-12066 节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息,执行ps -ef|grep ssh-agent找到ssh-agent进程,并kill该进程等待该进程自动重启。 执行ssh-add -l 查看是否已经添加identities信息,如果已经添加,请手动ssh确认互信是否正常。 如果有identities信息,需要确认/home/omm/.ssh/authorized_keys中是否有对端节点/home/omm/.ssh/id_rsa.pub文件中的信息,如果没有手动添加对端节点信息。 检查/home/omm/.ssh目录下的文件权限是否正确。 排查日志文件 “/var/log/Bigdata/nodeagent/scriptlog/ssh-agent-monitor.log”。 如果把omm的用户目录删除了,需要联系MRS运维人员修复。 父主题: 节点管理类
  • 原因分析 从Spark 2.3版本开始,推荐使用新参数spark.executor.memoryOverhead设置executor的overhead内存大小,如果任务两个参数都设置,则spark.yarn.executor.memoryOverhead的值不生效,以spark.executor.memoryOverhead的值为最终值。 同样的参数还有driver的overhead内存设置:spark.driver.memoryOverhead
  • Hadoop组件jar包位置和环境变量的位置在哪里? hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量:/opt/client/JDK/component_env Hadoop组件的环境变量位置:/opt/client/HDFS/component_env Hadoop客户端路径:/opt/client/HDFS/hadoop 父主题: 组件配置类
  • 如何查看MRS作业的日志? MRS Console页面作业管理,每一条作业支持查看日志,包含launcherJob日志和realJob日志。 launcherJob作业的日志,一般会在stderr和stdout中打印错误日志,如下图所示: realJob的日志,可以通过MRS Manager中Yarn服务提供的ResourceManager Web UI查看。 登录集群Master节点,可获取1作业的日志文件 ,具体hdfs路径为“/tmp/logs/{submit_user}/logs/{application_id}”。 提交作业后,在Yarn的WEB UI未找到对应作业的application_id,说明该作业没有提交成功,可登录集群主Master节点,查看提交作业进程日志“/var/log/executor/logs/exe.log”。 父主题: 作业管理类
  • 答: MRS集群内节点上的sudo log文件是omm用户的操作记录,以方便问题的定位,用户可以清理。 因为日志占用了一部分存储空间,建议管理员清除比较久远的操作日志释放资源空间。 日志文件较大,可以将此文件目录添加到“/etc/logrotate.d/syslog”中,让系统做日志老化 ,定时清理久远的日志 。 更改文件日志目录:sed -i '3 a/var/log/sudo/sudo.log' /etc/logrotate.d/syslog 可以根据日志个数和大小进行设置“/etc/logrotate.d/syslog”,超过设置的日志会自动删除掉。一般默认按照存档大小和个数进行老化的,可以通过size和rotate分别是日志大小限制和个数限制,默认没有时间周期的限制,如需进行周期设置可以增加daily/weekly/monthly指定清理日志的周期为每天/每周/每月。
  • 如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录,配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 该用户必须具有Clickhouse管理员权限。 执行命令clickhouse client --host 192.168.42.90 --secure -m,其中192.168.42.90为ClickHouseServer实例节点IP,执行结果如下: [root@server-2110082001-0017 hadoopclient]# clickhouse client --host 192.168.42.90 --secure -m ClickHouse client version 21.3.4.25. Connecting to 192.168.42.90:21427. Connected to ClickHouse server version 21.3.4 revision 54447. 执行命令修改allow_drop_detached的值。 例如:设置allow_drop_detached=1 set allow_drop_detached=1; 执行如下命令查看allow_drop_detached的值: SELECT * FROM system.settings WHERE name = 'allow_drop_detached'; 执行命令q;退出clickhouse client。 父主题: 组件配置类
  • 查询密码有效期 查询组件运行用户(人机用户、机机用户)密码有效期: 以客户端安装用户,登录安装了客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,输入kadmin/admin用户密码后进入kadmin控制台。 kadmin -p kadmin/admin kadmin/admin的默认密码为“Admin@123”,首次登录后需修改密码,请按照提示修改并妥善保存。 执行如下命令,可以查看用户的信息。 getprinc 系统内部用户名 例如:getprinc user1 kadmin: getprinc user1 ...... Expiration date: [never] Last password change: Sun Oct 09 15:29:54 CST 2022 Password expiration date: [never] ...... 查询操作系统用户密码有效期: 以root用户登录集群任一Master节点。 执行以下命令查看用户密码有效期(“Password expires”参数值)。 chage -l 用户名 例如查看root用户密码有效期,则执行chage -l root,执行后结果如下: [root@xxx ~]#chage -l root Last password change : Sep 12, 2021 Password expires : never Password inactive : never Account expires : never Minimum number of days between password change : 0 Maximum number of days between password change : 99999 Number of days of warning before password expires : 7
  • 操作步骤 确认MRS集群的节点镜像的操作系统版本是否在主机安全服务的Agent支撑的操作系统列表范围内。 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”,单击目标集群名称,进入集群信息页面。 在集群信息页面中,选择“节点管理”页签,单击目标节点组,在展开的节点名称列中单击任一节点,跳转到云服务基本信息控制台。 图1 节点管理 在云服务器详情页面中,选择“基本信息”页签,进入云服务器基本信息页面后,在“云服务器信息”栏中确认“镜像”中EulerOS的操作系统版本。 查看说明:镜像中显示的EulerOS_2.10_x86_64,则代表操作系统为Linux系统版本(X86架构)、版本为EulerOS 2.10 64bit。 图2 操作系统版本 确认MRS节点的操作系统版本是否在HSS服务的Agent支持的操作系统范围中。 HSS服务的Agent支持的操作系统列表请参见支持的操作系统。 是,执行2,安装主机安全HSS服务的Agent。 否,无法安装主机安全服务。 购买主机安全防护配额,并分别登录MRS集群的各个节点安装Agent(MRS集群每个节点都需要安装),安装完成后可开启防护。 确保MRS集群的节点与HSS配额在同一区域,并使用配额所在区域的安装命令或安装包为主机安装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗舰版供您选择,具体功能详情及版本差异详情请参见版本功能差异说明。 购买时,“防护主机数量”需跟MRS集群中的节点数量保持一致。 图3 防护主机数量 步骤二 安装Agent Linux版本 Windows版本 Agent是用于执行检测任务,全量扫描主机,实时监测主机的安全状态。 步骤三 开启主机防护 开启主机安全防护时,按照一台主机对应一个配额的关系进行绑定,只有绑定配额的主机才能正常防护。 步骤四 开启告警通知 开启告警通知功能后,您能接收到HSS服务发送的告警通知短信,及时了解主机的安全风险。 步骤五 (可选)基础配置 开启防护后,您可配置常用登录地、常用登录IP、SSH登录IP白名单,以及开启恶意程序自动隔离查杀,进一步提升云服务器的安全。
  • MRS集群磁盘如何分区的? MRS集群即发即用,不需用户自行规划磁盘分区。集群节点创建成功后,节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log OS盘剩余空间都分配给“/var/log”分区 日志存放目录。 /srv/BigData 60GB 作为FusionInsight Manager的数据目录,存放ldapData、Manager、metric_agent等数据,同时为组件数据目录提供挂载点。 MRS集群节点创建成功后,节点的非操作系统磁盘会挂载至“/srv/BigData/dataN”目录,例如节点有4块数据盘,则磁盘挂载目录为“/srv/BigData/data1”、“/srv/BigData/data2”、“/srv/BigData/data3”、“/srv/BigData/data4”。 节点上所部署的各组件元数据目录和数据目录按照一定映射规则分配到不同的磁盘分区目录下,各组件数据目录说明可参考表2。 表2 MRS集群节点非操作系统盘分区说明 分区类型 磁盘分区挂载目录 数据目录 用途 元数据分区 /srv/BigData/data1 dbdata_om OMS 的数据库数据目录,如果安装双机Manager,两个OMS节点均包含此分区目录。 LocalBackup 备份集群数据时,如果选择备份在“LocalDir”,则默认存储在该路径下。如果安装双机Manager,两个节点包含此分区目录。 containers WebContainer角色所在节点,存放Container BLU应用的war包和配置集。 doris/fe 存放Doris数据库元数据。 /srv/BigData/data2 journalnode HDFS JournalNode角色所在节点,存放HDFS的JournalNode元数据。 dbdata_service DBService DBServer角色所在节点,DBService服务数据库目录。 iotdb/iotdbserver IoTDB系统元数据存储路径。 iotdb/confignode 存放IoTDB ConfigNode角色元数据。 /srv/BigData/data3 namenode HDFS NameNode角色所在节点,存放NameNode数据。 iotdb/iotdbserver IoTDBServer日志数据存储路径。 /srv/BigData/data4 zookeeper ZooKeeper quorumpeer角色所在节点,存放ZooKeeper数据。 hetuengine/qas HetuEngine QAS角色所在节点,存放QAS数据。 业务数据分区 /srv/BigData/dataN dn nm 存放DataNode数据以及MapReduce任务中间数据。 kafka-logs 存放Kafka Broker数据。 clickhouse clickhouse_path 存放ClickHouse数据库数据。 clickhouse_path目录存放ClickHouse元数据信息,只在“data1”目录下存在。 iotdb/iotdbserver 存放IoTDB服务的业务数据。 doris/be 存放Doris数据库数据。 元数据分区目录最多使用4块磁盘(data1~data4),各元数据目录根据表2依次映射到“/srv/BigData/data1”~“/srv/BigData/data4”目录下。如果当前节点只挂载了3块数据盘,则data4与data2下的目录合并。如果只挂载了2块数据盘,则data3与data1下的目录合并,data4与data2下的目录合并。 例如,ZooKeeper节点上有4块数据盘,则ZooKeeper的数据目录为“/srv/BigData/data4/zookeeper”,当节点只有3块数据盘时,ZooKeeper的数据目录为“/srv/BigData/data2/zookeeper”。 业务数据目录映射规则规则如下: 对于HDFS、KafKa、ClickHouse、IoTDB组件,根据当前节点磁盘挂载数量自动识别符合“/srv/BigData/dataN”的挂载点作为数据目录。 例如当前“/srv/BigData/data1”~“/srv/BigData/data3”目录挂载了磁盘,则DataNode的数据目录为“/srv/BigData/data1/dn”、“/srv/BigData/data2/dn”、“/srv/BigData/data3/dn”,Kafka的数据目录为“/srv/BigData/data1/kafka-logs”、“/srv/BigData/data2/kafka-logs”、“/srv/BigData/data3/kafka-logs”。 父主题: 节点管理类
  • Hive服务运行状态为亚健康是否会影响上层业务? 问: MRS集群内的Hive服务运行状态显示为“亚健康”,是否会影响上层业务? 图1 Hive服务状态 答: 集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。 在本示例场景中,登录Manager查看集群其它服务状态,发现HBase服务被停止。当HBase已安装且状态不正常时,Hive、Spark和Loader服务将处于“亚健康”状态。 此时并不会影响基于Hive服务的上层业务,手动重启HBase服务后,Hive服务运行状态恢复正常。 父主题: 组件管理类
  • Spark作业的Client模式和Cluster模式有什么区别? 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念:Application Master。 在YARN中,每个Application实例都有一个ApplicationMaster进程,它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源,获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。 YARN-Cluster模式下,Driver运行在AM(Application Master)中,它负责向YARN申请资源,并监督作业的运行状况。当用户提交了作业之后,就可以关掉Client,作业会继续在YARN上运行,因而YARN-Cluster模式不适合运行交互类型的作业。 YARN-Client模式下,Application Master仅仅向YARN请求Executor,Client会和请求的Container通信来调度工作,也就是说Client不能离开。 父主题: 作业管理类
  • MRS集群创建限制 表1 MRS集群创建约束说明 限制项 说明 网络要求 MRS集群必须创建在VPC子网内。 创建MRS集群时,支持自动创建安全组,也可选择已有的安全组。 MRS集群使用的安全组请勿随意放开权限,避免被恶意访问。 浏览器 建议使用推荐的浏览器登录MRS管理界面。 Google Chrome:36.0及更高版本 Microsoft Edge:随Windows操作系统更新。 数据存储 MRS集群节点仅用于存储用户业务数据,非业务数据建议保存在 对象存储服务 或其他弹性云服务器中。 MRS集群节点仅用于运行MRS集群内服务,其他客户端应用程序、用户业务程序建议申请独立弹性云服务器部署。 请根据业务需要规划集群节点的磁盘,如果需要存储大量业务数据,请及时增加云硬盘数量或存储空间,以防止存储空间不足影响节点正常运行。 MRS集群扩容(包含存储能力和计算能力)可通过增加Core节点或者Task节点的方式实现。 密码要求 MRS不会保存您设置的登录Master节点的初始密码,请您设置并保管好密码。为避免被恶意攻击,建议设置复杂度高的密码。 技术支持 集群处于非人为异常状态时,可以联系技术支持人员,技术支持人员征得您同意后会请您提供密码,登录MRS集群进行问题排查。 集群处于异常状态时,MRS仍然会收取集群费用。建议您及时联系技术支持人员处理集群异常。
  • 独享型实例和共享型实例 表6 独享型实例和共享型实例的区别 维度 独享型实例 共享型实例 CPU分配策略 当前实例独享CPU,实例间无CPU资源争抢。 多实例共享CPU,实例间可能出现CPU资源争抢。 特点 高性能 独享且稳定的计算、存储、网络资源 高成本 高负载时性能不稳定 共享的计算、存储、网络资源 低成本 适用场景 对业务稳定性有高要求的企业场景。 对建设成本有要求的中小网站或个人场景。 实例规格 除“通用计算型”和“通用入门型”之外的实例规格。 x86计算型: 通用计算型 通用入门型
  • 网络QoS 网络QoS,指利用各种基础技术,为指定的网络通信提供更好的服务能力。配置了QoS的网络环境,增加了网络性能的可预知性,并能够有效地分配网络带宽,更加合理地利用网络资源。 可以通过规格清单(x86)查询指定规格的QoS数据,包括最大带宽/基准带宽(Gbps)、内网最大收发包能力(万PPS)、网卡多队列数、网卡个数上限。 弹性云服务器根据不同的规格限制内网带宽和内网收发包能力。 内网基准带宽:指弹性云服务器在整机网络带宽存在争抢时,能稳定达到的保证带宽。 内网最大带宽:指弹性云服务器在整机网络带宽没有争抢(宿主机上其他虚拟机对网络带宽要求不高)时,可以达到的最大带宽。 内网最大收发包能力:指弹性云服务器能达到的最大收发包能力。 单位为PPS(Packets per Second),即每秒发送多少个分组数据包,常用于衡量网络的性能。 网卡多队列数:将弹性云服务器中的网卡中断分散给不同的CPU处理,以满足网卡的需求,从而提升网络PPS和带宽性能。 网卡个数上限:指弹性云服务器最多能挂载多少个网卡。 辅助网卡个数上限:指弹性云服务器最多能挂载多少个辅助网卡。 网络收发包测试方法,请参见网络性能测试方法。 开启网卡多队列的方法,请参见开启网卡多队列功能。 最大带宽是实例维度的,即实例如果有多张网卡,所有网卡的最大带宽之和不超过实例的最大带宽。 网卡即弹性网卡,是一种虚拟网卡,您可以通过创建并配置弹性网卡,并将其附加到您的云服务器上,实现灵活、高可用的网络方案配置。 详细内容,请参见弹性网卡。 辅助网卡即辅助弹性网卡,是一种基于弹性网卡的衍生资源,用于解决单个云服务器实例挂载的弹性网卡超出上限,不满足用户使用需要的问题。 详细内容,请参见辅助弹性网卡。
  • 规格命名规则 规格的Flavor命名如图1所示,通常包含代系名称、vCPU核数、内存/vCPU比值三部分。 图1 Flavor命名规则 部分Flavor命名还包含附加标识部分,例如,c6h.22xlarge.2.physical中的“physical”即为附加标识。 代系名称 代系名称通常采用四段式命名规则:前缀+主系列+数字+后缀 如表2所示。 表2 四段式命名规则 四段式结构 说明 规则 示例 前缀 根据CPU架构进行分类 以小写英文字母表示 x86:默认无前缀 鲲鹏:前缀为k 主系列 根据典型场景进行分类 以小写英文字母表示 如表3所示 数字 根据规格的代系演进变化 以数字表示,随新硬件及架构更迭而增加 无 后缀 根据规格在同代次实例中增强的能力进行分类 以小写英文字母表示 如表4所示 表3 主系列类型 应用场景 细分场景 主系列 说明 通用场景 通用入门型 t Turbo 通用计算型 s Standard 通用计算增强型 c Compute 高性能计算场景 高性能计算型 h High Performance 大数据场景 磁盘增强型 d Disk 超高I/O型(大容量本地盘) i IOPS 超高I/O型(小容量本地盘) ir IOPS Raid 内存密集场景 内存优化型 m Memory 超大内存型 e Enhanced Memory 计算加速场景 GPU计算加速型 p Parallel GPU图像加速型 g Graphic GPU推理加速型 pi Parallel Inference FPGA加速型 fp FPGA Performance AI推理加速型 ai Ascend Inference 表4 后缀类型 后缀名 示例 说明 ne c3ne Network Enhanced s c6s Standard v p2v NVlink h c6h High performance vCPU核数 通过small、medium、large、xlarge、Nxlarge表示,如表5所示。 例如,s6.2xlarge.4中的“2xlarge”表示vCPU核数为8(N为2,2 × 4 = 8)。 表5 与vCPU核数对应关系 规格 vCPU核数 small 1 medium 1 large 2 xlarge 4 Nxlarge N × 4,N值越大,vCPU核数越多 内存/vCPU比值 由具体数字表示。 例如,s6.2xlarge.4中的“4”表示内存和vCPU的比值为4,即vCPU核数为8,内存为32GiB。 附加标识 ECS和BMS的标准共池裸金属实例,以“physical” 作为附加标识。 例如,c6h.22xlarge.2.physical中的“physical”表示该规格为标准共池裸金属实例。
  • vCPU 弹性云服务器的处理器运用超线程HT(Hyper-Threading)技术,允许在CPU的每个物理内核上公开两个执行上下文,即一个物理内核包含两个虚拟的“逻辑内核”,可以处理不同的软件线程。vCPU(virtual CPU)即为虚拟的“逻辑内核”。 规格名称展示vCPU数,即逻辑内核数。在弹性云服务器上可以查看实际的逻辑CPU内核数。 当前绝大多数规格已经默认开启了超线程,如果在创建弹性云服务器或者变更规格时关闭了超线程,则在弹性云服务器上查看到的CPU核数是规格的Flavor名称中展示的vCPU数量的一半。 例如,对于c7.xlarge.2,其vCPU数,即逻辑内核数为4,2核的物理CPU包含4个vCPU(线程)。若关闭了超线程,则在c7.xlarge.2弹性云服务器上查看到的CPU核数是2。 关于超线程的详细介绍,请参见开启/关闭超线程。
  • x86 CPU架构和鲲鹏CPU架构 弹性云服务器实例主要包含两种架构,x86 CPU架构和鲲鹏CPU架构。 x86 CPU架构 采用复杂指令集CISC(Complex Instruction Set Computer),CISC是一种计算机体系结构,其中每个指令可以执行一些较低阶的硬件操作,指令数目多而且复杂,每条指令的长度并不相同。由于指令执行较为复杂所以每条指令花费的时间较长。 鲲鹏CPU架构 采用精简指令集RISC(Reduced Instruction Set Computer),RISC是一种微处理器,旨在执行较少类型计算机指令,以便能够以更高的速度执行操作,使计算机的结构更加简单、合理地提高运行速度。 鲲鹏CPU架构相对于x86 CPU架构具有更加均衡的性能功耗比。 表1 x86 CPU架构和鲲鹏CPU架构差异对比 维度 x86 CPU架构 鲲鹏CPU架构 优势 生态好,支持几乎所有常用软件。 自研芯片,性价比更高。 适用场景 Windows系列、仅x86兼容的商业软件等强平台相关场景。 电商、大数据、科学计算等弱平台相关场景。 手机仿真等原生场景。
  • ECS购买方式导航 云平台提供了多种购买ECS的方式,满足您在不同业务场景的需求。 表1 实例购买方式 购买方式 适用场景 自定义购买ECS 购买ECS的通用操作指导,您可以根据业务场景灵活设置ECS的计费模式、规格类型、镜像类型、存储、网络、安全组、公网访问等配置信息。 购买竞价计费型ECS 购买竞价计费竞价模式ECS的操作指导,相当于以一定折扣购买按需计费ECS。 适用于对成本控制要求比较高,期望以较低折扣使用同等性能应用或服务的场景。 购买竞享计费型ECS 购买竞价计费竞享模式ECS的操作指导,相当于以一定折扣购买按需计费ECS。 适用于对成本控制要求比较高,期望以较低折扣使用同等性能应用或服务的场景。 通过私有镜像购买ECS 私有镜像包含操作系统、预装的公共应用以及用户的私有应用,通过私有镜像购买ECS可以节省重复配置的时间。 适用于有习惯使用的操作系统和应用程序的用户。 通过智能购买助手购买ECS 智能购买助手包含启动模板和智能购买组。 启动模板:包含了用于创建ECS的除密码之外的任意配置信息,可以批量购买相同配置的ECS。 智能购买组:通过自定义配置可以批量购买不同可用区、不同实例类型以及不同计费模式的ECS。 通过规格选型引导购买ECS ECS提供传统办公、网站应用、电商等业务场景下,针对不同业务场景和预期业务量的规格推荐。 适用于业务场景和预期业务量明确,想要快速完成传统办公、网站应用或电商等场景规格选型的用户。 通过共享VPC购买ECS 通过其他账号共享的VPC和子网购买ECS,实现网络资源的共享和统一管理,提升资源管控效率、降低运维成本。 购买相同配置ECS 通过“购买相同配置”功能可以快速购买与当前配置相同的ECS,节省配置时间。 父主题: 购买ECS
  • 应用场景 CCE集群支持管理X86和ARM资源,能够轻松创建Kubernetes集群、部署容器化应用,并方便地进行管理和维护。 容器化Web应用:使用CCE集群,能帮助用户快速部署Web业务应用,对接华为云中间件(如 GaussDB 、Redis),并支持配置高可用容灾、自动弹性伸缩、发布公网、灰度升级等。 中间件部署平台:CCE集群可以作为中间件的部署平台,使用StatefulSet、PVC等资源配置,能够实现应用的有状态化,同时配套弹性负载均衡实例,可实现中间件服务的对外发布。 执行普通任务、定时任务:使用容器化方式运行Job、CronJob类型应用,帮助业务降低对主机系统配置的依赖,全局的资源调度既保证任务运行时资源量,也提高集群下整体资源利用率。 图1 CCE集群
  • 操作场景 购买弹性云服务器时,您需要根据业务需求指定CPU、内存、规格、操作系统、登录鉴权方式等具体配置。华为云提供了多种实例类型供您选择,不同类型的实例提供不同的计算能力和存储能力。支持的实例类型,请参见实例类型。 弹性云服务器的“帮我选”功能,提供规格选型引导,针对不同业务场景和预期业务量,进行规格推荐,帮助您快速选择规格。 购买弹性云服务器的详细内容,请参见自定义购买ECS。本文介绍如何通过“帮我选”的规格选型引导进行规格筛选的操作指导。
  • 操作步骤 登录控制台,进入购买弹性云服务器页面。 根据业务需要,完成区域、计费模式、可用区等基础配置的设置。 在“实例筛选”区域右上角,单击“帮我选”。 图1 帮我选 在“帮我选”页面根据业务场景进行设置。 选择“传统办公”业务场景。 图2 传统办公场景 设置业务预期用户数:根据登录或使用某软件系统的总用户数量的范围进行设置。 设置业务预期并发量:根据同一时间,每秒同时访问软件系统的用户数量的范围进行设置。 如果业务预期并发量达到200以上,请联系售前获取专业咨询服务。 单击“下一步”,在推荐规格中进行选择。 单击“确认选择”,完成规格设置。 如果您对推荐规格不满意,还可以在规格列表中直接选择其他规格。 选择“网站应用”业务场景。 图3 网站应用场景 根据业务需要,选择对应的网站类型。 (可选)设置业务预期用户数:根据登录或使用小程序的总用户数量的范围进行设置。 当“网站类型”选择“营销类小程序”时,该参数可见。 (可选)设置业务预期并发量:根据同一时间,每秒同时访问小程序的用户数量的范围进行设置。 当“网站类型”选择“营销类小程序”时,该参数可见。 如果业务预期并发量达到200以上,请联系售前获取专业咨询服务。 单击“下一步”,在推荐规格中进行选择。 单击“确认选择”,完成规格设置。 如果您对推荐规格不满意,还可以在规格列表中直接选择其他规格。 选择“电商”业务场景。 图4 电商场景 (可选)若有“秒杀/直播带货”需求,则勾选“是”。 设置业务预期日活跃用户数:根据日登录或使用电商平台的活跃用户数(去除重复登录的用户)的范围进行设置。 如果业务预期日活跃用户数达到5000以上,请联系售前获取专业咨询服务。 设置业务预期并发量:根据同一时间,每秒同时访问电商平台的用户数量的范围进行设置。 如果业务预期并发量达到200以上,请联系售前获取专业咨询服务。 单击“下一步”,在推荐规格中进行选择。 单击“确认选择”,完成规格设置。 如果您对推荐规格不满意,还可以在规格列表中直接选择其他规格。
  • 获取安装脚本 您可以通过执行以下命令,获取支持GPU监控和NPU监控的 CES Agent的安装脚本。 表3 安装脚本的支持区域及获取方式 区域 安装脚本 华北-北京一 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-cn-north-1.obs.cn-north-1.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r cn-north-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-cn-north-1.obs.cn-north-1.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r cn-north-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 华北-北京四 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r cn-north-4 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r cn-north-4 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 华北-乌兰察布一 单台ECS安装: cd /usr/local && curl -k -O https://obs.cn-north-9.myhuaweicloud.com/uniagent-cn-north-9/package/agent_install.sh && bash agent_install.sh -r cn-north-9 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://obs.cn-north-9.myhuaweicloud.com/uniagent-cn-north-9/package/batch_agent_install.sh && bash batch_agent_install.sh -r cn-north-9 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 华南-广州 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-cn-south-1.obs.cn-south-1.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r cn-south-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-cn-south-1.obs.cn-south-1.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r cn-south-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 华东-上海一 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-cn-east-3.obs.cn-east-3.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r cn-east-3 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-cn-east-3.obs.cn-east-3.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r cn-east-3 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 华东-上海二 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-cn-east-2.obs.cn-east-2.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r cn-east-2 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-cn-east-2.obs.cn-east-2.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r cn-east-2 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 西南-贵阳一 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-cn-southwest-2.obs.cn-southwest-2.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r cn-southwest-2 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-cn-southwest-2.obs.cn-southwest-2.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r cn-southwest-2 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 中国-香港 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-ap-southeast-1.obs.ap-southeast-1.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r ap-southeast-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-ap-southeast-1.obs.ap-southeast-1.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r ap-southeast-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 亚太-曼谷 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-ap-southeast-2.obs.ap-southeast-2.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r ap-southeast-2 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-ap-southeast-2.obs.ap-southeast-2.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r ap-southeast-2 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 亚太-新加坡 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-ap-southeast-3.obs.ap-southeast-3.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r ap-southeast-3 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-ap-southeast-3.obs.ap-southeast-3.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r ap-southeast-3 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 亚太-雅加达 单台ECS安装: cd /usr/local && curl -k -O https://obs.ap-southeast-4.myhuaweicloud.com/uniagent-ap-southeast-4/package/agent_install.sh && bash agent_install.sh -r ap-southeast-4 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://obs.ap-southeast-4.myhuaweicloud.com/uniagent-ap-southeast-4/package/batch_agent_install.sh && bash batch_agent_install.sh -r ap-southeast-3 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 非洲-约翰内斯堡 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-af-south-1.obs.af-south-1.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r af-south-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-af-south-1.obs.af-south-1.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r af-south-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 拉美-墨西哥城二 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-la-north-2.obs.la-north-2.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r la-north-2 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-la-north-2.obs.la-north-2.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r ap-southeast-3 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 拉美-圣地亚哥 单台ECS安装: cd /usr/local && curl -k -O https://obs.la-south-2.myhuaweicloud.com/uniagent-la-south-2/package/agent_install.sh && bash agent_install.sh -r la-south-2 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://obs.la-south-2.myhuaweicloud.com/uniagent-la-south-2/package/batch_agent_install.sh && bash batch_agent_install.sh -r ap-southeast-3 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 中东-利雅得 单台ECS安装: cd /usr/local && curl -k -O https://uniagent-me-east-1.obs.me-east-1.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r me-east-1 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 多台ECS批量安装: cd /usr/local && curl -k -O https://uniagent-me-east-1.obs.me-east-1.myhuaweicloud.com/package/batch_agent_install.sh && bash batch_agent_install.sh -r ap-southeast-3 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com
  • (可选)安装lspci工具 登录弹性云服务器。 更新镜像源,获取安装依赖。 wget http://mirrors.myhuaweicloud.com/repo/mirrors_source.sh && bash mirrors_source.sh 更多内容,请参见如何使用自动化工具配置华为云镜像源(x86_64和ARM)? 执行以下命令,安装lspci工具。 CentOS系统: yum install pciutils Ubuntu系统: apt install pciutils 执行以下命令,查看安装结果。 lspci -d 10de: 图3 安装结果
  • 操作步骤(单台ECS安装) 本操作以Ubuntu 18.04 64bit操作系统、Pi2规格的GPU加速型实例为例,介绍单台ECS安装支持GPU监控的CES Agent的操作指导。 使用root用户,远程登录弹性云服务器。 执行以下命令,为单台ECS安装支持GPU监控的CES Agent。 以“华北-北京四”为例,其余区域的安装脚本,请参见获取安装脚本。 cd /usr/local && curl -k -O https://uniagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/package/agent_install.sh && bash agent_install.sh -r cn-north-4 -u 0.1.5 -t 2.6.7.1 -d agent.ces.myhuaweicloud.com 其中,“cn-north-4”表示区域ID,“0.1.5”是uniagent版本号,“2.6.7.1”是telescope版本号。 当显示如下内容,表示支持GPU监控的CES Agent安装成功。 图1 支持GPU监控的CES Agent安装成功
  • 操作场景 监控与告警是保证异构云服务器(GPU加速型实例、AI加速型实例)高可靠性、高可用性和高性能的重要功能。 通过在异构类(例如,GPU加速型实例、AI加速型实例)的Linux实例上安装支持对应监控的CES Agent,可以为用户提供系统级、主动式、细颗粒度的监控,包含相关异构指标收集和系统事件上报。 当前支持的异构加速卡及对应的监控指标种类如下: GPU监控指标,请参见操作系统监控指标:GPU。 NPU监控指标,请参见操作系统监控指标:NPU。 本章节介绍如何通过安装脚本为异构(GPU加速型、AI加速型)实例安装支持对应监控的CES Agent: 操作步骤(单台ECS安装) 操作步骤(多台ECS批量安装)
共100000条