华为云用户手册
-
开发概述 HTSDK是接入KooMap AR地图运行服务的端侧SDK,助力于快速构建真实和虚拟融合世界。HTFoundation是适配HTSDK的示例代码,供用户在Unity3D中开发业务。 HTFoundation示例实现了真实世界构建、世界位姿定位和跟踪、虚实世界呈现。基于HTFoundation示例,用户可构建虚拟世界,包括虚拟对象设计、行为设计实现和业务逻辑开发。 图1 工作原理 父主题: HTSDK使用手册
-
裸金属服务器有哪些限制? 不支持直接加载外接硬件设备(如USB设备、银行U key、外接硬盘、加密狗等)。 不支持带外管理,您的裸金属服务器资源统一由华为云管理和维护。 不支持热迁移,服务器故障后会对业务造成影响,建议您通过业务集群部署、主备部署等方式实现业务的高可用。 不支持创建没有操作系统的裸设备,即裸金属服务器必须自带操作系统。 创建后不支持更换VPC。 不支持在裸金属服务器内部进行二次虚拟化,即不支持安装虚拟化软件。 不支持自定义裸金属服务器的CPU、内存等配置,也不支持CPU、内存、本地磁盘扩容,仅云硬盘可以扩容。 仅支持挂载S CS I类型的云硬盘。 由于某些机型的服务器没有配备SDI卡,或者其他服务器本身的原因,有些规格或镜像的裸金属服务器不支持挂载云硬盘。 请勿删除或者修改镜像中内置的插件服务(如Cloud-Init、bms-network-config等),否则会影响您的基本功能使用。 在创建裸金属服务器时,如果选择自动分配IP地址,请不要在裸金属服务器发放完成后修改私有IP地址,避免和其他裸金属服务器IP冲突。 裸金属服务器不支持配置桥接网卡,会导致网络不通。 禁止升级OS自带内核版本,否则服务器硬件驱动会存在兼容性风险,影响服务器可靠性。 当前仅支持从管理控制台关机裸金属服务器,不支持在单独实例OS内部使用关机命令关机裸金属服务器。 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。裸金属服务器没有独立的服务配额,它的实例数、核心数和 RAM 容量与弹性云服务器共用一套配额,在查看配额时,需要在“弹性云服务器”栏目查看,详情请参见查看配额。 父主题: 通用类
-
处理方法 执行“su”命令切换到root用户。 执行“chmod g+w /var/log”和“chmod o+w /var/log”命令为文件夹添加所属组和其他用户的写权限。 执行“chmod g+r /var/log/日志文件名”和“chmod o+r /var/log/日志文件名”命令为日志文件添加所属组和其他用户的读权限。 执行“chmod g+w /var/log/日志文件名”和“chmod o+w /var/log/日志文件名”命令为日志文件添加所属组和其他用户的写权限。 执行exit退出root用户。
-
安装HPD 登录裸机操作系统。 安装HPD。 执行命令rpm -ivh hotplug-daemon-xxxx-xxxx.xxx.rpm。 [root@localhost debug]# rpm -ivh hotplug-daemon-16.1.8.1-1.aarch64.rpm Verifying... ################################# [100%] Preparing... ################################# [100%] Updating / installing... 1:hotplug-daemon-16.1.8.1-1 ################################# [100%] 重启裸机。
-
升级HPD 登录裸机操作系统。 升级HPD。 执行命令rpm -Uvh hotplug-daemon-xxxx-xxxx.xxx.rpm。 [root@localhost debug]# rpm -Uvh hotplug-daemon-16.1.8.1-1.aarch64.rpm Verifying... ################################# [100%] Preparing... ################################# [100%] Updating / installing... 1:hotplug-daemon-16.1.8.1-1 ################################# [ 50%] Cleaning up / removing... 2:hotplug-daemon-16.1.1.1-1 ################################# [100%] 重启HPD。 执行命令service hpd restart。 [root@localhost ~]# service hpd restart Redirecting to /bin/systemctl restart hpd.service
-
开通组织云服务并创建组织 IAM 身份中心依赖组织云服务定义的组织来获取成员账号信息,所以使用IAM身份中心之前,必须先开通组织云服务并创建组织,以组织管理账号登录并使用IAM身份中心。 使用组织云服务之前,需要先开通企业中心功能,且只能使用企业中心的主账号创建组织,请参考以下步骤执行。 进入企业中心控制台。 单击“免费开通”,进入申请开通企业中心页面。 勾选“我已阅读并同意《华为云企业管理服务使用声明》”,并单击“免费开通”。开通后您将自动成为企业主账号,具体请参见:开通企业中心功能。 进入组织云服务控制台。 开通组织云服务。进入开通页,单击“立即开通”。 开通组织云服务后,系统会自动创建组织和根组织单元,并将开通服务的账号设置为管理账号。具体请参见:创建组织。 邀请账号加入组织,具体请参见:邀请账号加入组织。
-
运维中心微服务平台功能介绍 微服务平台(NUWA Runtime)托管了一个微服务运行的所有基础设施,微服务对基础设施的所有要求都通过基础设施即代码(Infrastructure as Code,简称IaC)来描述。 NUWA Runtime根据IaC描述,对接相关的配置服务器,通过弹性伸缩管理平台接口,完成部署。应用托管到NUWA Runtime以后,Runtime提供IaC和管理台两种方式对集群进行变更。业务通过发布IaC版本,在运维中心执行IaC,即可对微服务集群进行变更。 Runtime支持通过IaC指定集群配置、Sidecar版本、资源分配等;通过管理台可以对微服务本身及其相关的资源进行管理,如微服务生命周期管理、事件查看、更新配置、回滚、扩缩容等。 父主题: 通过微服务平台管理微服务
-
步骤二:通过IaC发布敏感配置 业务使用Runtime部署并按照IaC规范配置敏感配置项之后,在部署时Runtime会从STS管理台拉取加密配置项,注入到容器的环境变量中,并通过配置渲染工具将敏感配置渲染到业务的配置文件中。 在IaC脚本中的业务配置项配置文件中指定敏感配置项坐标。 此处以在config_records.yaml文件中增加一个名为spring.redis.password的敏感配置项为例。 spring.redis.password: MicroService/{ServiceName}/{MicroServiceName}/spring.redis.password/default 在IaC脚本中的业务配置项属性定义文件中,声明该配置项为敏感配置项。 此处以在config_schema.yaml中声明微服务的敏感业务配置项为例。 type: object properties: spring.redis.password: format: sensitive
-
服务资源介绍 Cloud Map根据服务注册和发现方式不同,把管理的服务资源分为三种:微服务、中间件、接入地址(URL),具体介绍如表1所示。 表1 服务资源说明 服务形态 描述 微服务 微服务之间通过微服务框架点对点通信,微服务提供方(Provider)实例节点把自己的IP和端口注册到Cloud Map,并通过心跳的方式维持注册。调用方(Consumer)实例查询Provider的所有实例列表,实现点对点调用。微服务属于一个服务,一个微服务可能有多个集群。 中间件 中间件对应一个中间件集群,Cloud Map里记录连接这个中间件集群,中间件SDK所有需要的配置,包括地址、密钥,密码信息等。一个服务可能会申请多个中间件集群 。 当前仅支持WiseDBA管理台纳管的数据库。 接入地址 业务之间调用都是通过一个地址进行访问,对于内部服务,URL地址由提供方管理、提供。对于公有云、以及外部的服务地址,由使用方自己维护。一个服务可能会开放多个接入地址,也会依赖多个接入地址。 服务资源在Cloud Map中注册和发现的方式如表2所示。Cloud Map SDK的使用方法请参见Cloud Map SDK。 表2 服务注册和发现 场景 注册 发现 服务之间 服务提供方通过IaC注册地址。 通过Cloud Map SDK查询。 服务内部微服务之间 通过Cloud Map SDK注册机器IP,并维持心跳。 通过Cloud Map SDK发现。 数据库 通过IaC申请数据库,数据库管理台自动注册。 通过中间件SDK访问。 接口类型服务 使用方通过IaC注册地址。 通过Cloud Map SDK发现。 外部地址 使用方通过IaC注册地址。 通过Cloud Map SDK发现。 中间件 通过IaC申请中间件集群,中间件管理台自动注册。 通过中间件SDK访问。
-
在子账户做的私有镜像,主账户创建云服务器的时候可以选择到吗? 可以。 子账户做的私有镜像,主账户和其他子账户(如果有)均可以看到。 如果该私有镜像为系统盘镜像或整机镜像,主账户和其他子账户创建云服务器时,选择“私有镜像”,然后在下拉列表中可以选择该镜像。 如果该私有镜像为数据盘镜像,主账户和其他子账户创建云硬盘时,选择数据源为“从镜像创建”,然后在弹出的对话框中选择该镜像。 另外,主账户创建的私有镜像,所有子账户都可以看到。
-
创建成功的整机镜像在哪里查看数据盘信息? 整机镜像创建成功后,镜像列表和详情中只显示系统盘信息(即“磁盘容量”参数),数据盘信息可以在云服务器备份或云备份中查看。究竟在云服务器备份中查看,还是在云备份中查看,取决于整机镜像的创建方式。 以在云备份中查看为例,方法如下: 在私有镜像列表中,单击整机镜像名称。 进入镜像详情页面。 找到“来源”参数,单击其后的备份ID。 进入云备份详情页面。 图1 镜像详情 单击“磁盘级备份”页签,列表中展示了系统盘和数据盘的详细信息。 图2 磁盘级备份
-
华为云提供的公共镜像能否直接下载到本地,怎么操作? 暂不支持直接下载公共镜像,您可以先通过公共镜像创建云服务器,再将云服务器制作为私有镜像,然后导出私有镜像至个人OBS桶,再下载至本地。 参考链接如下: 通过云服务器创建系统盘镜像 导出镜像 Windows、SUSE、Red Hat、Ubuntu、Oracle Linux操作系统的公共镜像及此类公共镜像创建的私有镜像,均不支持导出。 若您使用Windows、SUSE、Red Hat、Ubuntu、Oracle Linux私有镜像文件(非来源于华为云提供的公共镜像)通过线下导入的方式创建云服务器,基于该云服务器制作的系统盘镜像支持导出。 父主题: 镜像导出类
-
问题描述弹性云服务器弹性云服务器弹性云服务器 Windows操作系统镜像执行Sysprep之后,使用该镜像创建的弹性云服务器启动时出现如下图的提示信息: 图1 提示信息 且弹出如下提示信息: Windows无法分析或处理 pass [ specialize ] 的无人参与应答文件。应答文件中指定的设置无法应用。处理组件设置时检测到错误 [ Microsoft-Windows-Shell-Setup ]。 单击提示框的“确定”,弹出如下提示信息: 计算机意外地重新启动或遇到错误。Windows安装无法继续。若要安装Windows,请单击“确定”重新启动计算机,然后重新启动安装。 在“C:\Windows\Panther”路径下打开“setupact.log”文件,查看云服务器日志中是否存在如下信息。 图2 查看云服务器日志
-
处理方法 使用公共镜像创建弹性云服务器(由于执行Sysprep有次数限制,建议您使用公共镜像重新创建弹性云服务器)。 您可以选择新建“Unattend.xml”文件或者修改系统自带的“Unattend.xml”。 你可以自行选择新建“Unattend.xml”文件(如果使用新建“Unattend.xml”文件,请确保执行Sysprep时使用的是新建的“Unattend.xml”文件),内容及书写规范请参考微软官网链接: https://docs.microsoft.com/en-us/windows-hardware/manufacture/desktop/update-windows-settings-and-scripts-create-your-own-answer-file-sxs https://docs.microsoft.com/en-us/windows-hardware/manufacture/desktop/sysprep--system-preparation--overview 修改“C:\Program Files\Cloudbase Solutions\Cloudbase-Init\conf”目录下的“Unattend.xml”文件,删除“RunSynchronous”版块。 图3 删除RunSynchronous版块 执行Sysprep。详细操作请参考“执行Sysprep”章节。 如果使用自行新建的“Unattend.xml”文件,执行Sysprep时请注意对应的“Unattend.xml”路径,确保使用的是新建的“Unattend.xml”文件。 使用执行Sysprep后的弹性云服务器重新创建镜像。
-
Linux操作系统(手动配置启用IPv6) CentOS 6.x和Debian操作系统的云服务器内部配置IPv6自动获取功能之后,将该云服务器制作为私有镜像,使用该镜像在非IPv6网络环境中创建云服务器时,由于等待获取IPv6地址超时,导致云服务器启动较慢,您可以参考设置云服务器获取IPv6地址超时时间设置获取IPv6地址超时时间为30s,然后再重新制作私有镜像。 执行如下命令,查看当前云服务器是否启用IPv6。 ip addr 如果没有开启IPv6协议栈,则只能看到IPv4地址,如下图所示,请参考2先开启IPv6协议栈。 图19 未开启IPv6协议栈 如果已开启IPv6协议栈,则可以看到LLA地址(fe80开头)。 图20 已开启IPv6协议栈 如果已开启IPv6协议栈并且已获取到IPv6地址,则会看到如下地址: 图21 已开启IPv6协议栈并且已获取到IPv6地址 Linux公共镜像均已开启IPv6协议栈,如图20所示; 开启Linux云服务器IPv6协议栈。 执行如下命令,确认内核是否支持IPv6协议栈。 sysctl -a | grep ipv6 如果有输出信息,表示内核支持IPv6协议栈。 如果没有任何输出,说明内核不支持IPv6协议栈,需要执行2.b加载IPv6模块。 执行以下命令,加载IPv6模块。 modprobe ipv6 修改“/etc/sysctl.conf”配置文件,增加如下配置: net.ipv6.conf.all.disable_ipv6=0 保存配置并退出,然后执行如下命令,加载配置。 sysctl -p 手动配置启用IPv6。操作系统不同,步骤有所差别。 Ubuntu 18.04/20.04操作系统 云服务器配置 动态获取IPv6。 执行以下命令,进入“/etc/netplan/”。 cd /etc/netplan 执行以下命令,查询配置文件名。 ls 图22 查询配置文件名 执行以下命令,编辑“01-network-manager-all.yaml”配置文件。 vi 01-network-manager-all.yaml 在“01-network-manager-all.yaml”下增加如下内容,注意yaml文件格式及缩进: ethernets: eth0: dhcp6: true 图23 修改结果 修改完成后保存退出。 执行以下命令,使更改生效。 sudo netplan apply Ubuntu 22.04操作系统云服务器配置动态获取IPv6。 执行以下命令,进入“/etc/netplan/”。 cd /etc/netplan 执行以下命令,查询配置文件名。 ls 图24 查询配置文件名 执行以下命令,编辑“01-netcfg.yaml”配置文件。 vi 01-netcfg.yaml 在“01-netcfg.yaml”中增加如下内容,注意yaml文件格式及缩进: ethernets: eth0: dhcp6: true 图25 修改结果 修改完成后保存退出。 执行以下命令,使更改生效。 sudo netplan apply 执行以下命令,编辑“/etc/NetworkManager/NetworkManager.conf”文件。 vi /etc/NetworkManager/NetworkManager.conf 在“NetworkManager.conf”中增加如下内容,注意文件格式及缩进: [main] plugins=ifupdown,keyfile dhcp=dhclient [ifupdown] managed=true [device] wifi.scan-rand-mac-address=no 图26 修改结果 执行以下命令,使配置生效。 systemctl restart NetworkManager Debian操作系统云服务器配置动态获取IPv6。 编辑“/etc/network/interfaces”文件,使之包含以下内容: auto lo iface lo inet loopback auto eth0 iface eth0 inet dhcp iface eth0 inet6 dhcp pre-up sleep 3 如果有多个网卡,则在“/etc/network/interfaces”文件中,增加对应网卡的配置,以eth1为例,需要增加: auto eth1 iface eth1 inet dhcp iface eth1 inet6 dhcp pre-up sleep 3 执行如下命令重启网络服务。 service networking restart 如果将网卡进行down/up操作之后无法获取IPv6地址,也可以通过此命令重启网络服务。 执行步骤1检查是否已开启动态IPv6。 CentOS/EulerOS/Fedora操作系统云服务器配置动态获取IPv6。 编辑主网卡配置文件“/etc/sysconfig/network-scripts/ifcfg-eth0”。 补充如下配置项: IPV6INIT=yes DHCPV6C=yes 编辑“/etc/sysconfig/network”,按如下所示添加或修改以下行。 NETWORKING_IPV6=yes CentOS 6系列从网卡需要编辑对应的配置文件,以eth1为例,编辑“/etc/sysconfig/network-scripts/ifcfg-eth1”。 补充如下配置项: IPV6INIT=yes DHCPV6C=yes CentOS 6.3系统中默认ip6tables会过滤dhcpv6-client请求,所以CentOS 6.3除了需要编辑“ifcfg-eth*”文件外,还需要额外添加一条允许dhcpv6-client请求的ip6tables规则。操作如下: 执行以下命令,添加ip6tables规则。 ip6tables -A INPUT -m state --state NEW -m udp -p udp --dport 546 -d fe80::/64 -j ACCEPT 执行以下命令,保存ip6tables规则。 service ip6tables save 图27 命令示例 (可选配置)CentOS 7/CentOS 8系列需要将扩展网卡的IPv6 LLA地址模式修改为EUI64。 执行如下命令查看网卡信息。 nmcli con 图28 查看网卡信息 将eth1的IPv6 LLA地址模式按以下命令修改为EUI64: nmcli con modify "Wired connection 1" ipv6.addr-gen-mode eui64 CentOS不同系列,网卡信息存在差异,命令中的“Wired connection 1”需要根据实际查询的网卡信息的“NAME”列进行替换。 通过ifconfig命令将eth1进行down/up操作。 ifdown eth1 ifup eth1 重启网络服务。 CentOS 6系列执行以下命令,重启网络服务。 service network restart CentOS 7/EulerOS/Fedora系列执行以下命令,重启网络服务。 systemctl restart NetworkManager 执行步骤1检查是否已开启动态IPv6。 SUSE/openSUSE/CoreOS操作系统云服务器配置动态获取IPv6。 SUSE 11 SP4不支持IPv6自动获取。 SUSE 12 SP1、SUSE 12 SP2无需特殊配置。 openSUSE 13.2、openSUSE 42.2无需特殊配置。 CoreOS 10.10.5无需特殊配置。
-
检查云服务器网络配置状态 执行以下命令,检查云服务器网络服务状态是否正常。 systemctl status NetworkManager 如果网络服务状态正常,则执行结果中服务处于active (running)状态且是enable的。 图29 网络服务器状态 执行以下命令,检查云服务器网卡获取IP地址的方式。 cat /etc/sysconfig/network-scripts/ifcfg-ethx “ethx”需替换为具体的网卡,例如eth0。 该命令以CentOS 7为例进行介绍。 图30 网卡获取IP地址的方式 如果BOOTPROTO字段的值为dhcp:表示云服务器网卡通过动态DHCP获取IP地址,继续执行3。 如果BOOTPROTO字段的值为static:表示云服务器网卡通过静态配置的方式设置网络,继续执行4。 如果云服务器网卡通过动态DHCP获取IP地址,则需要执行以下命令,确认DHCP相关进程是否正常。 systemctl status NetworkManager 回显中包含相关网卡的dhclient进程则代表正常。 图31 检查DHCP进程 如果云服务器网卡通过静态配置的方式设置网络,则需要执行以下命令,确认IP地址配置是否生效。 ip a 回显中IP配置字段是forever则代表配置已经生效。 图32 检查静态配置
-
设置云服务器获取IPv6地址超时时间 CentOS 6.x和Debian操作系统的云服务器内部配置IPv6自动获取功能之后,将该云服务器制作为私有镜像,使用该镜像在非IPv6网络环境中创建云服务器时,由于等待获取IPv6地址超时,导致云服务器启动较慢,您可以参考本节操作设置获取IPv6地址超时时间为30s,然后再重新制作私有镜像。 CentOS 6.x: 执行以下命令编辑“dhclient.conf”文件。 vi /etc/dhcp/dhclient.conf 按“i”进入编辑模式,在文件中增加timeout属性。 timeout 30; 输入:wq保存后退出。 Debian 7.5: 执行以下命令编辑“networking”文件。 vi /etc/init.d/networking 按“i”进入编辑模式,增加延迟命令timeout,修改点如下图所示。 图33 修改点1 图34 修改点2 Debian 8.2.0/8.8.0 执行以下命令编辑“network-pre.conf”文件。 vi /lib/systemd/system/networking.service.d/network-pre.conf 按“i”进入编辑模式,在文件中增加timeout属性。 [Service] TimeoutStartSec=30 Debian 9.0 执行以下命令编辑“networking.service”文件。 vi /etc/system/system/network-online.target.wants/networking.service 按“i”进入编辑模式,将TimeoutStartSec=5min改为TimeoutStartSec=30。
-
约束与限制 请确保云服务器所在的子网已开启IPv6功能。 若云服务器所在子网未开启IPv6功能,需参考开启网卡IPv6功能进行开启,开启后不允许关闭。 请确保云服务器规格支持IPv6功能。 不同区域、不同可用区支持IPv6双栈的云服务器规格不同。ECS是否支持IPv6双栈,请选择区域、可用区后,以控制台的显示为准,查询方法如下图所示。 图1 查询支持IPv6的ECS规格 当ECS规格列表中包含“IPv6”参数,且取值为“是”时,表示该ECS规格支持IPv6。 规格是否支持IPv6由“可用区”和“规格”两个参数决定。 如果设置“可用区”后,规格列表中不显示“IPv6”参数或参数值为“否”,表示当前规格不支持IPv6。 请确保创建云服务器时已选择“自动分配IPv6地址”。 图2 选择“自动分配IPv6地址” 云服务器启动之后动态插拔的网卡不支持IPv6地址动态获取功能。 仅弹性云服务器支持IPv6双栈,裸金属服务器不支持。 同一个网卡上,只能绑定一个IPv6地址。 云服务器网络配置需处于正常状态。 检查网络配置是否正常的方法,请参见检查云服务器网络配置状态。 如果网络配置不正常,请提交工单获取技术支持。
-
操作导航 Windows系统:本文以Windows 2012版本、Windows 2008版本为例,介绍Windows操作系统启用IPv6的方法,如表1所示。 Linux系统:本文提供了自动配置、手动配置两种方式启用IPv6,推荐您使用自动配置方法,如表1所示。 对于CentOS 6.x和Debian操作系统,云服务器内部配置IPv6自动获取功能之后,将该云服务器制作为私有镜像,使用该镜像在非IPv6网络环境中创建云服务器时,由于等待获取IPv6地址超时,导致云服务器启动较慢,此时您可以参考设置云服务器获取IPv6地址超时时间操作。 表1 不同操作系统启用IPv6操作指导 操作系统 方式 操作指导 Windows 2012 自动配置启用IPv6 Windows 2012操作系统 Windows 2008 自动配置启用IPv6 Windows 2008操作系统 Linux 自动配置启用IPv6(推荐) Linux操作系统(自动配置启用IPv6) Linux 手动配置启用IPv6 Linux操作系统(手动配置启用IPv6)
-
Linux操作系统(自动配置启用IPv6) ipv6-setup-xxx工具能为开启IPv6协议栈的Linux操作系统自动配置动态获取IPv6地址。其中,xxx表示工具系列:rhel或debian。 您也可以参考Linux操作系统(手动配置启用IPv6)手动配置启用IPv6。 ipv6-setup-xxx工具运行时会自动重启网络服务,导致网络短暂不可用。 CentOS 6.x和Debian操作系统的云服务器内部配置IPv6自动获取功能之后,将该云服务器制作为私有镜像,使用该镜像在非IPv6网络环境中创建云服务器时,由于等待获取IPv6地址超时,导致云服务器启动较慢,您可以参考设置云服务器获取IPv6地址超时时间设置获取IPv6地址超时时间为30s,然后再重新制作私有镜像。
-
操作场景 IPv6的使用,可以有效弥补IPv4网络地址资源有限的问题。如果当前云服务器使用IPv4,那么启用IPv6后,云服务器可在双栈模式下运行,即云服务器可以拥有两个不同版本的IP地址:IPv4地址和IPv6地址,这两个IP地址都可以进行内网/公网访问。 按照约束与限制中的网络环境要求创建的云服务器,有些不能动态获取到IPv6地址,需要进行相关配置才行。如果云服务器使用的是公共镜像,则支持情况如下: Windows公共镜像默认已开启IPv6动态获取功能,无需配置,文中的Windows 2012操作系统和Windows 2008操作系统部分供您验证、参考。 Linux公共镜像开启动态获取IPv6功能时,需要先判断是否支持IPv6协议栈,再判断是否已开启动态获取IPv6。目前,所有Linux公共镜像均已支持IPv6协议栈。
-
执行网卡多队列的配置脚本 Windows操作系统暂未商用支持网卡多队列,如果对Windows操作系统镜像添加网卡多队列标签,开启网卡多队列功能,可能会引起操作系统启动速度变慢等问题。 针对Linux操作系统, 镜像服务 提供了自动开启网卡多队列功能的配置脚本。如果弹性云服务器有多张网卡,执行配置脚本后,所有网卡均会自动开启多队列。 登录弹性云服务器,查看网卡支持和已开启的队列数。 ethtool -l 网卡 示例: [root@localhost ~]# ethtool -l eth0 #查询网卡eth0的队列数 Channel parameters for eth0: Pre-set maximums: RX: 0 TX: 0 Other: 0 Combined: 4 #表示此网卡最多支持设置4个队列 Current hardware settings: RX: 0 TX: 0 Other: 0 Combined: 1 #表示当前已开启的是1个队列 如果返回信息中,两个“Combined”字段取值相同,则表示网卡已开启多队列,无需执行以下操作。 执行以下命令,下载配置脚本“multi-queue-hw”。 wget https://ecs-instance-driver.obs.cn-north-1.myhuaweicloud.com/multi-queue-hw 其中,下载地址为:https://ecs-instance-driver.obs.cn-north-1.myhuaweicloud.com/multi-queue-hw 执行以下命令,添加执行权限。 chmod +x multi-queue-hw 执行以下命令,将脚本“multi-queue-hw”放到目录/etc/init.d下。 mv multi-queue-hw /etc/init.d 如果出现如下提示信息,请输入“y”。 mv: overwrite '/etc/init.d/multi-queue-hw'? 执行以下命令,运行脚本“multi-queue-hw”。 /etc/init.d/multi-queue-hw start 运行脚本后,立即生效。但关机弹性云服务器后,网卡多队列功能将自动失效。 为了使网卡多队列功能开机自动生效,各个OS需要增加开机启动配置: CentOS/Red Hat/Fedora/EulerOS/Suse/openSUSE使用如下命令,增加开机启动项,使网卡多队列配置开机: chkconfig multi-queue-hw on Ubuntu使用如下命令,增加开机启动项: update-rc.d multi-queue-hw defaults 90 10 Debian使用如下命令,增加开机启动项: systemctl enable multi-queue-hw
-
CentOS/EulerOS系列操作系统相关操作 执行以下命令,打开“/etc/dracut.conf”文件。 vi /etc/dracut.conf 按“i”进入编辑模式,在“add_drivers”项中添加xen-pv和virtio的驱动(具体格式要根据操作系统本身的要求来决定)。 [root@CTU10000xxxxx ~]# vi /etc/dracut.conf # additional kernel modules to the default add_drivers+="xen-blkfront xen-netfront virtio_blk virtio_scsi virtio_net virtio_pci virtio_ring virtio" …… 按“Esc”后,输入:wq,按“Enter”。 保存设置并退出“/etc/dracut.conf”文件。 执行以下命令,重新生成initrd。 dracut -f /boot/initramfs-2.6.32-573.8.1.el6.x86_64.img 如果引导的虚拟文件系统不是默认的initramfs,则命令为:dracut -f 实际使用的initramfs文件名或者initrd文件名。“实际使用的initramfs文件名或者initrd文件名”可在grub.cfg配置(“/boot/grub/grub.cfg”或“/boot/grub2/grub.cfg”或“/boot/grub/grub.conf”,具体路径根据OS不同会有所区别)中获取。 如果引导的虚拟文件系统是initramfs,执行以下命令,检查是否已经成功装载了原生的XEN和KVM驱动相应模块。 lsinitrd /boot/initramfs-`uname -r`.img | grep xen lsinitrd /boot/initramfs-`uname -r`.img | grep virtio 如果引导的虚拟文件系统是initrd,执行如下命令,检查是否已经成功装载了原生的XEN和KVM驱动相应模块。 lsinitrd /boot/initrd-`uname -r` | grep xen lsinitrd /boot/initrd-`uname -r` | grep virtio 以引导的虚拟文件系统是initramfs为例,回显信息如下所示: [root@CTU10000xxxxx home]# lsinitrd /boot/initramfs-`uname -r`.img | grep xen -rwxr--r-- 1 root root 54888 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/block/xen-blkfront.ko -rwxr--r-- 1 root root 45664 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/net/xen-netfront.ko [root@CTU10000xxxxx home]# lsinitrd /boot/initramfs-`uname -r`.img | grep virtio -rwxr--r-- 1 root root 23448 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/block/virtio_blk.ko -rwxr--r-- 1 root root 50704 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/net/virtio_net.ko -rwxr--r-- 1 root root 28424 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/scsi/virtio_scsi.ko drwxr-xr-x 2 root root 0 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/virtio -rwxr--r-- 1 root root 14544 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/virtio/virtio.ko -rwxr--r-- 1 root root 21040 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/virtio/virtio_pci.ko -rwxr--r-- 1 root root 18016 Jul 16 17:53 lib/modules/2.6.32-573.8.1.el6.x86_64/kernel/drivers/virtio/virtio_ring.ko 如果误将built-in形式存在内核中的驱动添加到initrd或initramfs文件中,不会影响云服务器正常使用,这里全写进去只是为了修改的方便,但是使用lsinitrd命令无法检查到。可使用如下方法确定这些驱动是否以built-in形式存在内核中,例如: cat /boot/config-`uname -r` | grep CONFIG_VIRTIO | grep y cat /boot/config-`uname -r` | grep CONFIG_XEN | grep y
-
Ubuntu/Debian系列操作系统相关操作 执行以下命令,打开“modules”文件。 vi /etc/initramfs-tools/modules 按“i”进入编辑模式,修改“/etc/initramfs-tools/modules”文件,添加xen-pv以及virtio的驱动(具体格式要根据操作系统本身的要求来决定)。 [root@CTU10000xxxxx ~]#vi /etc/initramfs-tools/modules …… # Examples: # # raid1 # sd_mOd xen-blkfront xen-netfront virtio_blk virtio_scsi virtio_net virtio_pci virtio_ring virtio 按“Esc”后,输入:wq,按“Enter”。保存设置并退出“/etc/initramfs-tools/modules”文件。 执行以下命令,重新生成initrd。 update-initramfs -u 执行以下命令,检查是否已经成功装载了原生的XEN和KVM驱动相应模块。 lsinitramfs /boot/initrd.img-`uname -r` |grep xen lsinitramfs /boot/initrd.img-`uname -r` |grep virtio [root@ CTU10000xxxxx home]# lsinitramfs /boot/initrd.img-`uname -r` |grep xen lib/modules/3.5.0-23-generic/kernel/drivers/net/ethernet/qlogic/netxen lib/modules/3.5.0-23-generic/kernel/drivers/net/ethernet/qlogic/netxen/netxen_nic.ko lib/modules/3.5.0-23-generic/kernel/drivers/net/xen-netback lib/modules/3.5.0-23-generic/kernel/drivers/net/xen-netback/xen-netback.ko lib/modules/3.5.0-23-generic/kernel/drivers/block/xen-blkback lib/modules/3.5.0-23-generic/kernel/drivers/block/xen-blkback/xen-blkback.ko [root@ CTU10000xxxxx home]# lsinitramfs /boot/initrd.img-`uname -r` |grep virtio lib/modules/3.5.0-23-generic/kernel/drivers/scsi/virtio_scsi.ko 如果误将built-in形式存在内核中的驱动添加到initrd或initramfs文件中,不会影响云服务器正常使用,这里全写进去只是为了修改方便,但是使用lsinitrd命令无法检查到。可使用如下方法确定这些驱动是否以built-in形式存在内核中,例如: [root@ CTU10000xxxxx home]# cat /boot/config-`uname -r` | grep CONFIG_VIRTIO | grep y CONFIG_VIRTIO_BLK=y CONFIG_VIRTIO_NET=y CONFIG_VIRTIO=y CONFIG_VIRTIO_RING=y CONFIG_VIRTIO_PCI=y CONFIG_VIRTIO_MMIO_CM DLI NE_DEVI CES =y [root@ CTU10000xxxxx home]# cat /boot/config-`uname -r` | grep CONFIG_XEN | grep y CONFIG_XEN_BLKDEV_FRONTEND=y CONFIG_XEN_NETDEV_FRONTEND=y
-
SUSE/openSUSE系列操作系统相关操作 当操作系统版本低于SUSE 12 SP1或低于openSUSE 13时,请修改“/etc/sysconfig/kernel”文件,操作步骤请参考第一种情况。 当操作系统版本为SUSE 12 SP1时,修改“/etc/dracut.conf”文件,添加xen-pv以及virtio的驱动,操作步骤请参考第二种情况。 当操作系统版本高于SUSE 12 SP1或高于openSUSE 13版本时,修改“/etc/dracut.conf”文件,在add_drivers项中添加xen-pv和virtio的驱动,操作步骤请参考第三种情况。 当操作系统版本低于SUSE 12 SP1或低于openSUSE 13时,操作步骤如下。 SUSE系列操作系统首先应确认OS是否已经安装了xen-kmp包(xen-pv的驱动包),执行如下命令: rpm -qa |grep xen-kmp 回显类似如下: xen-kmp-default-4.2.2_04_3.0.76_0.11-0.7.5 如果没有安装xen-kmp的包,请到安装ISO中获取并安装。 执行如下命令,修改“/etc/sysconfig/kernel”文件。 vi /etc/sysconfig/kernel 在INITRD_MODULES=""中添加xen-pv以及virtio的驱动(具体格式要根据OS本身的要求来决定)。 SIA10000xxxxx:~ # vi /etc/sysconfig/kernel # (like drivers for scsi-controllers, for lvm or reiserfs) # INITRD_MODULES="ata_piix ata_generic xen_vnif xen_vbd xen_platform_pci virtio_blk virtio_scsi virtio_net virtio_pci virtio_ring virtio" 执行mkinitrd命令,重新生成initrd。 如果引导的虚拟文件系统不是默认的initramfs或者initrd,则命令为:dracut -f 实际使用的initramfs或者initrd文件名。“实际使用的initramfs或者initrd文件名”可在menu.lst或者grub.cfg配置(“/boot/grub/menu.lst”或“/boot/grub/grub.cfg”或“/boot/grub2/grub.cfg”)中获取。 以SUSE 11 SP4为例,如下所示: default 0 timeout 10 gfxmenu (hd0,0)/boot/message title sles11sp4_001_[_VMX_] root (hd0,0) kernel /boot/linux.vmx vga=0x314 splash=silent console=ttyS0,115200n8 console=tty0 net.ifnames=0 NON_PERSISTENT_DEVICE_NAMES=1 showopts initrd /boot/initrd.vmx title Failsafe_sles11sp4_001_[_VMX_] root (hd0,0) kernel /boot/linux.vmx vga=0x314 splash=silent ide=nodma apm=off noresume edd=off powersaved=off nohz=off highres=off processsor.max+cstate=1 nomodeset x11failsafe console=ttyS0,115200n8 console=tty0 net.ifnames=0 NON_PERSISTENT_DEVICE_NAMES=1 showopts initrd /boot/initrd.vmx 其中,initrd所在行的/boot/initrd.vmx为实际使用的initrd文件,执行的时候请按照dracut -f /boot/initrd.vmx执行。如果initrd所在行的initrd文件不包含/boot目录,如/initramfs-xxx,请在执行dracut命令时增加boot目录,例如:dracut -f /boot/initramfs-xxx。 执行如下命令,检查是否已经成功装载了XEN的PV或者KVM的virtio相应模块。 lsinitrd /boot/initrd-`uname -r` | grep xen lsinitrd /boot/initrd-`uname -r` | grep virtio SIA10000xxxxx:~ # lsinitrd /boot/initrd-`uname -r` | grep xen -rwxr--r-- 1 root root 42400 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/block/xen-blkfront.ko -rwxr--r-- 1 root root 44200 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/net/xen-netfront.ko SIA10000xxxxx:~ # lsinitrd /boot/initrd-`uname -r` | grep virtio -rwxr--r-- 1 root root 19248 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/scsi/virtio_scsi.ko -rwxr--r-- 1 root root 23856 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/block/virtio_blk.ko drwxr-xr-x 2 root root 0 Jul 12 14:53 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/virtio -rwxr--r-- 1 root root 15848 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/virtio/virtio_ring.ko -rwxr--r-- 1 root root 20008 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/virtio/virtio_pci.ko -rwxr--r-- 1 root root 12272 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/virtio/virtio.ko -rwxr--r-- 1 root root 38208 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/net/virtio_net.ko 重启云服务器。 重启完毕后,修改“/boot/grub/menu.lst”文件,增加xen_platform_pci.dev_unplug=all和修改root的配置。 修改前如下所示: ###Don't change this comment -YaST2 identifier: Original name: linux### title SUSE Linux Enterprise Server 11SP4 - 3.0.76-0.11 (default) root (hd0,0) kernel /boot/vmlinuz-3.0.76-0.11-default root=UUID=4eb40294-4c6f-4384-bbb6-b8795bbb1130 splash=silentcrashkernel=256M-:128M showopts vga=0x314 initrd /boot/initrd-3.0.76-0.11-default 修改后如下所示: ###Don't change this comment -YaST2 identifier: Original name: linux### title SUSE Linux Enterprise Server 11SP4 - 3.0.76-0.11 (default) root (hd0,0) kernel /boot/vmlinuz-3.0.76-0.11-default root=UUID=4eb40294-4c6f-4384-bbb6-b8795bbb1130 splash=silentcrashkernel=256M-:128M showopts vga=0x314 xen_platform_pci.dev_unplug=all initrd /boot/initrd-3.0.76-0.11-default 确保磁盘root分区为UUID的表示形式。 xen_platform_pci.dev_unplug=all该参数的添加是为了屏蔽qemu设备。 SUSE 11 SP1 64bit ~ SUSE 11 SP4 64bit系统需要在“menu.lst”文件添加xen_platform_pci.dev_unplug=all,SUSE 12以后版本默认启用此功能,无需配置。 执行如下命令确认initrd中是否存在XEN驱动。 lsinitrd /boot/initrd-`uname -r` | grep xen lsinitrd /boot/initrd-`uname -r` | grep virtio SIA10000xxxxx:~ # lsinitrd /boot/initrd-`uname -r` | grep xen -rwxr--r-- 1 root root 42400 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/block/xen-blkfront.ko -rwxr--r-- 1 root root 44200 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/net/xen-netfront.ko SIA10000xxxxx:~ # lsinitrd /boot/initrd-`uname -r` | grep virtio -rwxr--r-- 1 root root 19248 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/scsi/virtio_scsi.ko -rwxr--r-- 1 root root 23856 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/block/virtio_blk.ko drwxr-xr-x 2 root root 0 Jul 12 14:53 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/virtio -rwxr--r-- 1 root root 15848 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/virtio/virtio_ring.ko -rwxr--r-- 1 root root 20008 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/virtio/virtio_pci.ko -rwxr--r-- 1 root root 12272 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/virtio/virtio.ko -rwxr--r-- 1 root root 38208 Jun 22 2012 lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/net/virtio_net.ko 如果误将built-in形式存在内核中的驱动添加到initrd或initramfs文件中,不会影响云服务器正常使用,这里全写进去只是为了修改方便,但是使用lsinitrd命令无法检查到。可使用如下方法确定这些驱动是否以built-in形式存在内核中,例如: cat /boot/config-`uname -r` | grep CONFIG_VIRTIO | grep y cat /boot/config-`uname -r` | grep CONFIG_XEN | grep y 当操作系统版本为SUSE 12 SP1时,操作步骤如下。 执行以下命令,打开“/etc/dracut.conf”文件。 vi /etc/dracut.conf 按“i”进入编辑模式,在“add-drivers”项中添加xen-pv和virtio的驱动(具体格式要根据操作系统本身的要求来决定)。 [root@CTU10000xxxxx ~]# vi /etc/dracut.conf # additional kernel modules to the default add_drivers+="ata_piix ata_generic xen_vnif xen_vbd xen_platform_pci virtio_blk virtio_scsi virtio_net virtio_pci virtio_ring virtio" 按“Esc”后,输入:wq,按“Enter”。 保存设置并退出“/etc/dracut.conf”文件。 执行以下命令,重新生成initrd。 dracut -f /boot/initramfs-文件名 如果引导的虚拟文件系统不是默认的initramfs,则命令为:dracut -f 实际使用的initramfs文件名或者initrd文件名。“实际使用的initramfs文件名或者initrd文件名”可在grub.cfg配置(“/boot/grub/grub.cfg”或“/boot/grub2/grub.cfg”或“/boot/grub/grub.conf”,具体路径根据OS不同会有所不同)中获取。 如果引导的虚拟文件系统是initramfs,执行以下命令,检查是否已经成功装载了原生的XEN和KVM驱动相应模块。 lsinitrd /boot/initramfs-`uname -r`.img | grep xen lsinitrd /boot/initramfs-`uname -r`.img | grep virtio 如果引导的虚拟文件系统是initrd,执行如下命令,检查是否已经成功装载了原生的XEN和KVM驱动相应模块。 lsinitrd /boot/initrd-`uname -r` | grep xen lsinitrd /boot/initrd-`uname -r` | grep virtio 当操作系统版本高于SUSE 12 SP1或高于openSUSE 13版本时,操作步骤如下。 以SUSE Linux Enterprise Server 12 SP2 (x86_64)为例,如下所示: 执行以下命令,打开“/etc/dracut.conf”文件。 vi /etc/dracut.conf 按“i”进入编辑模式,在“add_drivers”项中添加xen-pv和virtio的驱动(具体格式要根据操作系统本身的要求来决定)。 [root@CTU10000xxxxx ~]# vi /etc/dracut.conf # additional kernel modules to the default add_drivers+="ata_piix ata_generic xen-blkfront xen-netfront virtio_blk virtio_scsi virtio_net virtio_pci virtio_ring virtio" 按“Esc”后,输入:wq,按“Enter”。 保存设置并退出“/etc/dracut.conf”文件。 执行以下命令,重新生成initrd。 dracut -f /boot/initramfs-文件名 如果引导的虚拟文件系统不是默认的initramfs,则命令为:dracut -f 实际使用的initramfs文件名或者initrd文件名。“实际使用的initramfs文件名或者initrd文件名”可在grub.cfg配置(“/boot/grub/grub.cfg”或“/boot/grub2/grub.cfg”或“/boot/grub/grub.conf”,具体路径根据OS不同会有所区别)中获取。 如果引导的虚拟文件系统是initramfs,执行以下命令,检查是否已经成功装载了原生的XEN和KVM驱动相应模块。 lsinitrd /boot/initramfs-`uname -r`.img | grep xen lsinitrd /boot/initramfs-`uname -r`.img | grep virtio 如果引导的虚拟文件系统是initrd ,执行如下命令,检查是否已经成功装载了原生的XEN和KVM驱动相应模块。 lsinitrd /boot/initrd-`uname -r` | grep xen lsinitrd /boot/initrd-`uname -r` | grep virtio 以引导的虚拟文件系统是initrd为例,回显信息如下所示: sluo-ecs-30dc:~ # lsinitrd /boot/initrd-`uname -r` | grep xen -rw-r--r-- 1 root root 69575 Oct 26 2016 lib/modules/4.4.21-69-default/kernel/drivers/block/xen-blkfront.ko -rw-r--r-- 1 root root 53415 Oct 26 2016 lib/modules/4.4.21-69-default/kernel/drivers/net/xen-netfront.ko drwxr-xr-x 2 root root 0 Sep 28 10:21 lib/modules/4.4.21-69-default/updates/pvdriver/xen-hcall -rwxr-xr-x 1 root root 8320 Sep 28 10:21 lib/modules/4.4.21-69-default/updates/pvdriver/xen-hcall/xen-hcall.ko sluo-ecs-30dc:~ # lsinitrd /boot/initrd-`uname -r` | grep virtio -rw-r--r-- 1 root root 29335 Oct 26 2016 lib/modules/4.4.21-69-default/kernel/drivers/block/virtio_blk.ko -rw-r--r-- 1 root root 57007 Oct 26 2016 lib/modules/4.4.21-69-default/kernel/drivers/net/virtio_net.ko -rw-r--r-- 1 root root 32415 Oct 26 2016 lib/modules/4.4.21-69-default/kernel/drivers/scsi/virtio_scsi.ko drwxr-xr-x 2 root root 0 Sep 28 10:21 lib/modules/4.4.21-69-default/kernel/drivers/virtio -rw-r--r-- 1 root root 19623 Oct 26 2016 lib/modules/4.4.21-69-default/kernel/drivers/virtio/virtio.ko -rw-r--r-- 1 root root 38943 Oct 26 2016 lib/modules/4.4.21-69-default/kernel/drivers/virtio/virtio_pci.ko -rw-r--r-- 1 root root 24431 Oct 26 2016 lib/modules/4.4.21-69-default/kernel/drivers/virtio/virtio_ring.ko 如果误将built-in形式存在内核中的驱动添加到initrd或initramfs文件中,不会影响云服务器正常使用,这里全写进去只是为了修改方便,但是使用lsinitrd命令无法检查到。可使用如下方法确定这些驱动是否以built-in形式存在内核中,例如: cat /boot/config-`uname -r` | grep CONFIG_VIRTIO | grep y cat /boot/config-`uname -r` | grep CONFIG_XEN | grep y
-
操作步骤 请根据操作系统版本,修改不同的配置文件: CentOS/EulerOS系列操作系统 以CentOS 7.0为例,请修改“/etc/dracut.conf”文件,在add_drivers项中添加xen-pv以及virtio的驱动(xen-pv驱动:xen-blkfront、xen-netfront;virtio驱动:virtio_blk、virtio_scsi 、virtio_net、virtio_pci、virtio_ring、virtio)。驱动名之间以空格隔开,保存并退出“/etc/dracut.conf”文件,执行dracut -f命令,重新生成initrd。 操作方法可参见CentOS/EulerOS系列操作系统相关操作。 Ubuntu/Debian系列系统 请修改“/etc/initramfs-tools/modules”文件,添加xen-pv以及virtio的驱动(xen-pv驱动:xen-blkfront、xen-netfront;virtio驱动:virtio_blk、virtio_scsi 、virtio_net、virtio_pci、virtio_ring、virtio)。驱动名之间以空格隔开,保存并退出“/etc/initramfs-tools/modules”文件,执行update-initramfs -u命令,重新生成initrd。 操作方法可参见Ubuntu/Debian系列操作系统相关操作。 SUSE和openSUSE系列系统,根据操作系统版本不同,修改不同的配置文件。 当操作系统版本低于SUSE 12 SP1或低于openSUSE 13时,请修改“/etc/sysconfig/kernel”文件,在INITRD_MODULES=""添加xen-pv以及virtio的驱动(xen-pv驱动:xen_vnif、xen_vbd、xen_platform_pci;virtio驱动:virtio_blk、virtio_scsi 、virtio_net、virtio_pci、virtio_ring、virtio)。驱动名之间以空格隔开,执行mkinitrd命令,重新生成initrd。 当操作系统版本为SUSE 12 SP1时,修改“/etc/dracut.conf”文件,在add_drivers项中添加xen-pv以及virtio的驱动(xen-pv驱动:xen_vnif、xen_vbd、xen_platform_pci;virtio驱动:virtio_blk、virtio_scsi、virtio_net、virtio_pci、virtio_ring、virtio)。驱动名之间以空格隔开,执行命令dracut -f,重新生成initrd。 当操作系统版本高于SUSE 12 SP1或高于openSUSE 13版本时,修改“/etc/dracut.conf”文件,在add_drivers项中添加xen-pv和virtio的驱动(xen-pv驱动:xen-blkfront、xen-netfront;virtio驱动:virtio_blk、virtio_scsi 、virtio_net、virtio_pci、virtio_ring、virtio)。驱动名之间以空格隔开,保存并退出“/etc/dracut.conf”文件,执行dracut -f命令,重新生成initrd。 操作方法可参SUSE/openSUSE系列操作系统相关操作。 SUSE系列操作系统首先应确认OS是否已经安装了xen-kmp包(xen-pv的驱动包),执行以下命令: rpm -qa |grep xen-kmp 回显类似如下: xen-kmp-default-4.2.2_04_3.0.76_0.11-0.7.5 如果没有安装xen-kmp的包,请到ISO装机文件中获取并安装。 如果误将built-in形式的驱动添加到initrd或initramfs文件中,不会影响云服务器正常使用。
-
导入和快速导入、导出和快速导出功能对比 对比项 说明 相关操作 导入 将外部镜像文件导入华为云控制台,制作成私有镜像。 支持的格式包括:vmdk、vhd、qcow2、raw、vhdx、qed、vdi、qcow、zvhd2和zvhd。 最大可支持128GB。 导入过程中系统会在后台进行驱动注入等优化操作,因此相比快速导入耗时会长一些。 通过外部镜像文件创建系统盘镜像 通过外部镜像文件创建数据盘镜像 快速导入 对于raw、zvhd2格式的外部镜像文件,在导入华为云控制台时,可以勾选“开启快速通道”(如图1所示),系统不会进行驱动注入等优化操作,需要用户自行确认已完成以下准备: raw格式镜像文件:确认镜像文件已经转换为raw格式,按照要求完成了镜像优化,且已生成位表文件。 zvhd2格式镜像文件:确认镜像文件已经转换为zvhd2格式,并按照要求完成了镜像优化。 最大可支持1TB。 快速导入镜像文件 导出 将华为云控制台上的私有镜像导出到OBS个人桶,下载到本地后可供其他云平台使用。 镜像文件必须小于等于128GB(大于128GB时请使用快速导出功能)。 在导出时,可以指定导出的镜像格式,目前支持qcow2、vmdk、vhd和zvhd。 导出镜像 快速导出 在导出镜像页面,可以勾选“使用快速导出”(如图2),此时,不可指定导出格式。但是可以在导出后使用镜像转换工具将镜像转换为需要的格式。 镜像文件无大小限制。 加密镜像无法使用快速导出功能。 导出镜像 图1 快速导入镜像文件 图2 快速导出 父主题: 镜像导出类
-
操作场景 OVA(Open Virtualization Appliance:开放虚拟化设备)是一个单一的压缩文件,其中包含了OVF文件包中的所有文件,即OVF的一种压缩模式,后缀为.ova。OVF(Open Virtualization Format:开放虚拟化格式)是一个文件夹,其中包含的文件是定义和部署虚拟机时必须用到的。OVF一般包含三种文件类型,分别为.ovf文件、.mf文件、.vmdk文件。 .ovf是一个XML描述符,定义了虚拟机的元数据信息,如名称、硬件要求,并且包含了OVF文件包中其他文件的参考信息。 .mf文件是一些文件SHA的集合,目的是为了防止镜像文件被非法篡改。 .vmdk文件包含了虚拟磁盘资源,OVF包中可以包含多个.vmdk文件,用来创建不同的磁盘镜像。 本文介绍将OVF、OVA文件导入云平台的操作方法。
-
操作步骤 手动提取OVF或OVA模板中的可用文件(.vmdk文件),使用控制台的外部镜像文件创建系统盘镜像或数据盘镜像的方式进行导入。 下述内容以OVF或OVA模板中只有一个vmdk文件为例,若存在多个vmdk文件(假设为3个,1个系统盘文件,2个数据盘文件),请分别将其上传至OBS桶,注册为系统盘镜像和数据盘镜像。 虚拟机为Windows操作系统 如果选择导出OVF模板并存储于C盘OvfLib文件夹,定义模板名称为MyVm,导出完成后生成的文件夹内容如下。其中.vmdk文件可以上传至云平台。 ├C │ ├OvfLib │ ├MyVm │ ├MyVm.ovf │ ├MyVm.mf │ ├MyVm-disk1.vmdk 如果选择导出OVA格式,定义模板名称为MyVm,则会创建C:\MyVm.ova文件。解压后得到的.vmdk文件可以上传至云平台。 当前云平台支持导入vhd、vmdk、qcow2、raw、vhdx、qcow、vdi、qed、zvhd或zvhd2等格式镜像文件创建私有镜像。 详细指导请参见“通过外部镜像文件创建系统盘镜像”或“通过外部镜像文件创建数据盘镜像”。 虚拟机为Linux操作系统 如果选择导出OVF模板,请将生成后的文件夹中的.vmdk文件上传至云平台。 如果选择导出OVA模板,定义模板名称为MyVm,请执行以下操作。 执行如下命令,用file命令查看OVA文件。 file MyVm.ova 回显如下: MyVm.ova: POSIX tar archive (GNU) 使用tar命令可以看到,其中包含了两个文件: $tar tf MyVm.ova MyVm.ovf MyVm.vmdk 执行如下命令,解压OVA文件压缩包。 tar xvf MyVm.ova 解压后的文件夹包含如下文件: MyVm.ovf MyVm.vmdk 其中,vmdk格式的镜像文件可以上传至云平台。 当前云平台支持导入vhd、vmdk、qcow2、raw、vhdx、qcow、vdi、qed、zvhd或zvhd2等格式镜像文件创建私有镜像。 详细指导请参见“通过外部镜像文件创建系统盘镜像”或“通过外部镜像文件创建数据盘镜像”。
-
操作系统服务与支持计划 Huawei Cloud EulerOS 版本 停止服务与支持日期 Huawei Cloud EulerOS 2.0 2028-06-30 Huawei Cloud EulerOS 1.1 2026-06-30 EulerOS 版本 停止服务与支持日期 EulerOS 2.0SP8 2024-06-30 EulerOS 2.0SP5 2023-06-30 EulerOS 2.0SP3 2022-09-30 EulerOS 2.0SP2 2021-12-30 EulerOS 2.0SP1 2020-12-30 CentOS 版本 主要支持结束时间 扩展支持结束时间 CentOS 8 2021-12-31 2021-12-31 CentOS 7 2020-08-06 2024-06-30 CentOS 6 2017-05-10 2020-11-30 Debian 版本 停止支持日期 Debian 13 暂无明确时间 Debian 12 暂无明确时间 Debian 11 暂无明确时间 Debian 10 2022-09-10 Debian 9 2020-07-18 Debian 8 2018-06-17 Debian 7 2016-04-25 Ubuntu 版本 停止支持日期 Ubuntu 22.04 LTS 2032-04 Ubuntu 20.04 LTS 2030-04 Ubuntu 18.04 LTS 2028-04 Ubuntu 16.04 LTS 2026-04 Ubuntu 14.04 LTS 2024-04 Red Hat 版本 完全支持停止日期 Red Hat 9 2027-05-31 Red Hat 8 2024-05-31 Red Hat 7 2019-08-06 Red Hat 6 2016-05-10 FreeBSD 版本 停止维护更新日期 FreeBSD 13.0 FreeBSD 13.1发布后3个月 FreeBSD 12.3 2022-08-21 FreeBSD 12.2 2022-03-31 FreeBSD 12.1 2021-01-31 FreeBSD 12.0 2020-02-04 FreeBSD 11.4 2021-09-30 FreeBSD 11.3 2020-09-30 FreeBSD 11.2 2019-10-31 FreeBSD 11.1 2018-09-30 FreeBSD 11.0 2017-11-30 OpenSUSE 版本 停止维护更新日期 OpenSUSE 15.3 2022-11-30 OpenSUSE 15.2 2022-01-04 OpenSUSE 15.1 2021-02-02 OpenSUSE 15.0 2019-12-03 OpenSUSE 42.3 2019-07-01 OpenSUSE 42.2 2018-01-26 OpenSUSE 42.1 2017-05-17 SUSE Linux 版本 一般支持日期 拓展支持日期 SUSE Linux Enterprise Server 15 SP4 SUSE Linux Enterprise Server 15 SP5发布后的6个月 暂无明确时间 SUSE Linux Enterprise Server 15 SP3 2022-12-31 2025-12-31 SUSE Linux Enterprise Server 15 SP2 2021-12-31 2024-12-31 SUSE Linux Enterprise Server 15 SP1 2021-01-31 2024-06-31 SUSE Linux Enterprise Server 15 2019-12-31 2022-12-31 SUSE Linux Enterprise Server 12 SP5 2024-10-31 2027-10-31 SUSE Linux Enterprise Server 12 SP4 2020-06-30 2023-06-30 SUSE Linux Enterprise Server 12 SP3 2019-06-30 2022-06-30 SUSE Linux Enterprise Server 12 SP2 2018-03-31 2021-03-31 SUSE Linux Enterprise Server 12 SP1 2017-05-31 2020-05-31 SUSE Linux Enterprise Server 12 2016-06-30 2019-07-01 Fedora 版本 停止支持日期 Fedora 35 2022-12-13 Fedora 34 2022-06-07 Fedora 33 2021-11-30 Fedora 32 2021-05-25 Fedora 31 2020-11-24 Fedora 30 2020-05-26 Fedora 29 2019-11-26 Fedora 28 2019-05-28 Fedora 27 2018-11-30 Rocky Linux 版本 停止维护更新日期 Rocky Linux 8.5 2031-11-14 AlmaLinux 版本 停止维护更新日期 AlmaLinux 8.5 2031-11 Windows Server 版本 主要支持结束时间 扩展支持结束时间 Windows Server 2019 2024-01-09 2029-01-09 Windows Server 2016 2022-01-11 2027-01-12 Windows Server 2012 2018-10-09 2023-10-10 Windows Server 2012 R2 2018-10-19 2023-10-10 Windows Server 2008 已停止 已停止 Windows Server 2003 已停止 已停止
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- ...
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333