华为云用户手册
-
操作指导 在裸金属服务器桌面,单击左下方开始图标。 弹出Windows Server窗口。 单击“服务器管理器”。 弹出“服务器管理器”窗口,如图1所示。 图1 服务器管理器 在左侧导航树中,选择“文件和存储服务”。 进入“服务器”页面,如图2所示。 图2 服务器 在左侧导航栏单击“磁盘”。 进入磁盘页面,如图3所示。 图3 磁盘 在页面右侧可以查看磁盘列表,若新增磁盘处于脱机状态,需要先进行联机,再进行初始化。 选中新增磁盘,右键单击菜单列表中的“联机”。 弹出“使磁盘联机”对话框,如图4所示。 图4 使磁盘联机 在弹出的对话框中,单击“是”,确认联机操作。 单击界面右上方,刷新磁盘信息。 当磁盘状态由“脱机”变为“联机”,表示联机成功,如图5所示。 图5 联机成功 联机成功后,初始化新增磁盘。 选中新增磁盘,右键单击菜单列表中的“初始化”。 弹出“初始化磁盘”对话框,如图6所示。 图6 初始化磁盘(Windows 2016) 在弹出的对话框中,单击“是”,确认初始化操作。 单击界面右上方,刷新磁盘信息。 当磁盘分区由“未知”变为“GPT”,表示初始化完成,如图7所示。 图7 初始化完成 单击界面左下方的“若要创建卷,请启动新建卷向导”超链接,新创建卷。 弹出“新建卷向导”窗口,如图8所示。 图8 新建卷向导 根据界面提示,单击“下一步”。 进入“选择服务器和磁盘”页面,如图9所示。 图9 选择服务器和磁盘 选择服务器和磁盘,系统默认选择磁盘所挂载的服务器,您还可以根据实际需求指定服务器,此处以保持系统默认配置为例,单击“下一步”。 进入“指定卷大小”页面,如图10所示。 图10 指定卷大小(Windows 2016) 指定卷大小,系统默认卷大小为最大值,您还可以根据实际需求指定卷大小,此处以保持系统默认配置为例,单击“下一步”。 进入“分配到驱动器号或文件夹”页面,如图11所示。 图11 分配到驱动器号或文件夹 分配到驱动器号或文件夹,系统默认为磁盘分配驱动器号,驱动器号默认为“D”,此处以保持系统默认配置为例,单击“下一步”。 进入“选择文件系统设置”页面,如图12所示。 图12 选择文件系统设置 选择文件系统设置,系统默认的文件系统为NTFS,并根据实际情况设置参数,此处以保持系统默认设置为例,单击“下一步”。 不同文件系统支持的分区大小不同,请根据您的业务需求选择合适的文件系统。 进入“确认选择”页面,如图13所示。 图13 确认选择 根据界面提示,确认卷位置、卷属性以及文件系统设置的相关参数,确认无误后,单击“创建”,开始新建卷。 当出现如图14所示界面,表示新建卷完成。 图14 新建卷完成 新建卷完成后,单击,在文件资源管理器中查看是否有新建卷,此处以“新建卷(D:)”为例。 若如图15所示,可以看到“新建卷(D:)”,表示磁盘初始化成功,任务结束。 图15 文件资源管理器 若无法看到“新建卷(D:)”,请执行以下操作,为新建卷重新添加驱动器号或文件夹。 单击,输入cmd,单击“Enter” 弹出管理员窗口。 在管理员窗口,执行diskmgmt命令。 弹出“磁盘管理”窗口,如图16所示。 图16 磁盘管理(Windows 2016) 在磁盘1右侧“新建卷”区域,右键单击菜单列表中“更改驱动器号和路径”。 弹出“更改新建卷的驱动器号和路径”对话框,如图17所示。 图17 更改新建卷的驱动器号和路径 单击“添加”。 弹出“添加驱动器号和路径”对话框,如图18所示。 图18 添加驱动器号和路径 选择“分配以下驱动器号(A)”,重新为磁盘分配驱动器号,此处以分配驱动号D为例,并单击“确定”。 分配完成后,即可在文件资源管理器中看到“新建卷(D:)”。 此处选择请与11中的配置保持一致。
-
操作场景 本文以服务器的操作系统为“Windows Server 2016 Standard 64bit”为例,提供云硬盘的初始化操作指导。 MBR格式分区支持的磁盘最大容量为2 TB,GPT分区表最大支持的磁盘容量为18 EB,因此当为容量大于2 TB的磁盘分区时,请采用GPT分区方式。关于磁盘分区形式的更多介绍,请参见初始化数据盘场景及磁盘分区形式介绍。 不同服务器的操作系统的格式化操作可能不同,本文仅供参考,具体操作步骤和差异请参考对应的服务器操作系统的产品文档。 首次使用云磁盘时,如果您未参考本章节对磁盘执行初始化操作,主要包括创建分区和文件系统等操作,那么当后续扩容磁盘时,新增容量部分的磁盘可能无法正常使用。
-
操作场景 磁盘挂载至裸金属服务器后,需要登录服务器初始化磁盘,即格式化磁盘,之后磁盘才可以正常使用。 系统盘 系统盘不需要初始化,创建裸金属服务器时会自带系统盘并且自动初始化,默认磁盘分区形式为主启动记录分区(MBR,Master boot record)。 数据盘 创建裸金属服务器时直接创建数据盘,数据盘会自动挂载至服务器。 单独创建数据盘,然后将该数据盘挂载至裸金属服务器。 以上两种情况创建的数据盘挂载至服务器后,均需要初始化后才可以使用,请您根据业务的实际规划选择合适的分区方式。
-
磁盘分区形式 常用的磁盘分区形式如表1所示,并且针对Linux操作系统,不同的磁盘分区形式需要选择不同的分区工具。 表1 磁盘分区形式 磁盘分区形式 支持最大磁盘容量 支持分区数量 Linux分区工具 主启动记录分区(MBR) 2 TB 4个主分区 3个主分区和1个扩展分区 MBR分区包含主分区和扩展分区,其中扩展分区里面可以包含若干个逻辑分区。以创建6个分区为例,以下两种分区情况供参考: 3个主分区,1个扩展分区,其中扩展分区中包含3个逻辑分区。 1个主分区,1个扩展分区,其中扩展分区中包含5个逻辑分区。 以下两种工具均可以使用: fdisk工具 parted工具 全局分区表 (GPT,Guid Partition Table) 18 EB 1 EB = 1048576 TB 不限制分区数量 GPT格式下没有主分区、扩展分区以及逻辑分区之分。 parted工具 MBR格式分区支持的磁盘最大容量为2 TB,GPT分区表最大支持的磁盘容量为18 EB,当前EVS服务支持的数据盘最大容量为32 TB,如果您需要使用大于2 TB的磁盘容量,请采用GPT分区方式。 当磁盘已经投入使用后,此时切换磁盘分区形式时,磁盘上的原有数据将会清除,因此请在磁盘初始化时谨慎选择磁盘分区形式。
-
各RAID级别性能对比 RAID级别 需要磁盘数 容错能力 IO性能 存储容量 存储容量利用率 RAID 0 下限:1 上限:RAID卡型号不同,支持的最大数量不同。 不提供容错功能。任意一个成员盘出现故障,都会导致数据丢失。通过条带化方式同时在多个成员盘中写入数据。RAID 0对于需要高性能但不需要容错的应用场景非常理想。 提供优异的性能。RAID 0将数据分割为较小的数据块并写入到不同的磁盘中,由于可以同时对多个磁盘进行读写,RAID 0提升了IO性能。 成员盘最小容量 x 成员盘个数 100% RAID 1 2 提供100%的数据冗余能力。当一个成员盘故障时,可以使用RAID组中对应的其他磁盘的数据来运行系统,并重构故障盘。因为一个成员盘的内容会完全备份写入另一个磁盘,所以如果其中一个驱动器出现故障,则不会丢失任何数据。成对的成员盘在任何时候都包含相同的数据。RAID 1组是需要最大容错能力和最小容量要求的应用场景的理想选择。 由于RAID组中的硬盘都是成对出现,写数据时也必须同时写入2份,从而占用更多的时间和资源,导致性能降低。 成员盘最小容量 50% RAID 5 下限:3 上限:RAID卡型号不同,支持的最大数量不同。 结合了分布式奇偶校验和磁盘条带化。奇偶校验在不需要备份全部磁盘内容的情况下,为1个磁盘提供了冗余特性。当一个成员盘故障时,RAID卡使用奇偶校验数据来重建所有丢失的信息。RAID 5使用较小的系统开销为系统提供了足够的容错能力。 提供了较高的数据吞吐能力。由于成员盘上同时保留常规数据和校验数据,每个成员盘都可以独立读写,再加上完善的Cache算法,使得RAID 5在很多应用场景中都有出色的性能表现。 成员盘最小容量 x ( 成员盘个数 - 1 ) (N-1)/N RAID 6 下限:3 上限:RAID卡型号不同,支持的最大数量不同。 结合了分布式奇偶校验和磁盘条带化。奇偶校验在不需要备份全部磁盘内容的情况下,为2个磁盘提供了冗余特性。当一个成员盘故障时,RAID卡使用奇偶校验数据来重建所有丢失的信息。RAID 6使用较小的系统开销为系统提供了足够的容错能力。 在需要高可靠性、高响应率、高传输率的场景下,RAID 6是较为适合的RAID级别,其提供了高数据吞吐量、数据冗余性和较高的IO性能。由于RAID 6需要为每个成员盘写入2套校验数据,导致其在写操作期间性能降低。 成员盘最小容量 x ( 成员盘个数 - 2 ) (N-2)/N RAID 10 下限:4 上限:RAID卡型号不同,支持的最大数量不同。 使用多个RAID 1提供完整的数据冗余能力。RAID 10对所有需要通过镜像磁盘组提供100%冗余能力的场景都适用。 由RAID 0子组提供高数据传输率的同时,RAID 10在数据存储方面表现优异。IO性能随着子组数量的增加而提升。 成员盘最小容量 x 成员盘个数 / 2 50% RAID 50 下限:6 上限:RAID卡型号不同,支持的最大数量不同。 使用多个RAID 5的分布式奇偶校验提供数据冗余能力。在保证数据完整性的情况下,每个RAID 5分组允许1个成员盘故障。 在需要高可靠性、高响应率、高传输率的场景下,RAID 50表现最好。IO性能随着子组数量的增加而提升。 子组容量 x 子组数 (N-M)/N RAID 60 下限:6 上限:RAID卡型号不同,支持的最大数量不同。 使用多个RAID 6的分布式奇偶校验提供数据冗余能力。在保证数据完整性的情况下,每个RAID 6分组允许2个成员盘故障。 使用场景与RAID 50类似,但是由于每个成员盘必须写入2组奇偶校验数据,使得在写操作中性能降低,因此RAID 60不适用于大量写入任务。 子组容量 x 子组数 (N-M*2)/N 子组数:子RAID的个数。例如RAID 50由两个RAID 5组成,则子组数为2。 N为RAID成员盘的个数,M为RAID的子组数。
-
RAID相关特性及概念 特性/概念 解释 磁盘组和虚拟磁盘 由于现代数据中心业务量的与日俱增,单台服务器上需要运行的数据也日益增多。当单个磁盘在容量和安全性上不足以支持系统业务时,就需要将多个磁盘联合起来,对外作为一个可见的磁盘来使用,才可满足实际需要。磁盘组,就是将一组物理磁盘集合起来,作为一个整体对外体现,是虚拟磁盘的基础。 虚拟磁盘,即使用磁盘组划分出来的连续的数据存储单元,相当于一个个独立的磁盘,通过一定的配置,使其具有较单个物理磁盘更大的容量,及更高的安全性和数据冗余性。 一个虚拟磁盘可以是: 一个完整的磁盘组。 多个完整的磁盘组。 一个磁盘组的一部分。 多个磁盘组的一部分(每个磁盘组划分一部分,共同组成虚拟磁盘)。 容错 容错是指在系统出现磁盘错误或磁盘故障时,可以保证数据完整性和数据处理能力。RAID卡通过冗余的磁盘组在RAID 1、5、6、10、50、60上实现此功能。 一致性校验 针对有冗余功能的RAID 1、5、6、10、50、60,RAID卡可以对RAID组的硬盘数据进行一致性检查,对磁盘数据进行检验和计算,并与对应的冗余数据进行比较。如果发现有数据不一致的情况,会尝试做自动修复并保存错误信息。 由于RAID 0不具备冗余性,因此不支持一致性校验。 磁盘条带化 当多个进程同时访问一个磁盘时,可能会出现磁盘冲突。大多数磁盘系统都对访问次数(每秒的I/O操作)和数据传输率(每秒传输的数据量)有限制。当达到这些限制时,后面需要访问磁盘的进程就需要等待。 条带化是一种自动的将I/O的负载均衡到多个物理磁盘上的技术。条带化技术将一块连续的数据分成多个小部分并将其分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突,而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的I/O并行能力。 磁盘镜像 磁盘镜像,适用于RAID 1和RAID 10,是指执行写数据的任务时,会将同样的数据同时写入两块磁盘,以实现100%的数据冗余度。由于两块磁盘上的数据完全相同,当一块磁盘故障时,数据不会丢失。另外,同一时间,两块盘上的数据是完全相同的,当一块磁盘故障时,另一块盘可以马上接替故障盘的工作。 硬盘直通 硬盘直通,即“JBOD”功能,又称指令透传,是不经过传输设备处理,仅保证传输质量的一种数据传输方式。 打开硬盘直通功能后,RAID控制器可对所连接的硬盘进行指令透传,在不配置虚拟磁盘的情况下,用户指令可以直接透传到硬盘,方便上层业务软件或管理软件访问控制硬盘。 例如,服务器操作系统安装过程中,可以直接找到挂载在RAID卡下的硬盘作为安装盘;而不支持硬盘直通的RAID卡,在操作系统安装过程中,只能找到该RAID卡下已经配置好的虚拟磁盘作为安装盘。
-
常用的RAID级别 RAID 0 RAID 0又称为条带化(Stripe)或分条(Striping),代表了所有RAID级别中最高的存储性能。RAID 0提高存储性能的原理是把连续的数据分散到多个硬盘上存取。这样,当系统有数据请求时就可以在多个硬盘上并行执行,每个硬盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽,显著提高硬盘整体读写性能。但由于其没有数据冗余,无法保护数据的安全性,只能适用于I/O要求高,但数据安全性要求低的场合。 图1 RAID 0数据存储原理 RAID 1 RAID 1又称镜像(Mirror或Mirroring),即每个工作盘都有一个镜像盘,每次写数据时必须同时写入镜像盘,读数据时同时从工作盘和镜像盘读出。当更换故障盘后,数据可以重构,恢复工作盘正确数据。RAID 1可靠性高,但其有效容量减小到总容量一半以下,因此常用于对容错要求较高的应用场合,如财政、金融等领域。 图2 RAID 1数据存储原理 RAID 5 RAID 5是一种存储性能、数据安全和存储成本兼顾的存储解决方案。为保障存储数据的可靠性,采用循环冗余校验方式,并将校验数据分散存储在RAID的各成员盘上。当RAID的某个成员盘出现故障时,通过其他成员盘上的数据可以重新构建故障硬盘上的数据。RAID 5既适用于大数据量的操作,也适用于各种小数据的事务处理,是一种快速、大容量和容错分布合理的磁盘阵列。 图3 RAID 5数据存储原理 其中,PA为A0、A1和A2的奇偶校验信息,PB为B0、B1和B2的奇偶校验信息,以此类推。 RAID 6 在RAID 5的基础上,RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法,数据的可靠性非常高,即使两块磁盘同时失效也不会影响数据的使用。但RAID 6需要分配给奇偶校验信息更大的磁盘空间,相对于RAID 5有更大的“写损失”,因此“写性能”较差。 图4 RAID 6数据存储原理 其中,PA为A0、A1和A2的第一个校验信息块,QA为第二个校验信息块;PB为B0、B1和B2的第一个校验信息块,QB为第二个校验信息块,以此类推。 RAID 10 RAID 10是将镜像和条带进行两级组合的RAID级别,即RAID 0+RAID 1的组合形式,第一级是RAID 1,第二级是RAID 0。RAID 10是存储性能和数据安全兼顾的方案。它在提供与RAID 1一样的数据安全保障的同时,也提供了与RAID 0近似的存储性能。 图5 RAID 10数据存储原理 RAID 50 RAID 50被称为镜像阵列条带,即RAID 5 + RAID 0的组合形式。像RAID 0一样,数据被分区成条带,在同一时间内向多块磁盘写入;像RAID 5一样,也是以数据的校验位来保证数据的安全,且校验条带均匀分布在各个磁盘上。 图6 RAID 50数据存储原理 其中,PA为A0、A1和A2的奇偶校验信息,PB为B0、B1和B2的奇偶校验信息,以此类推。 RAID 60 RAID 60同RAID 50类似,数据采用镜像阵列条带分布方式,即RAID 6 + RAID 0的组合形式。像RAID 0一样,数据被分区成条带,在同一时间内向多块磁盘写入;像RAID 6一样,以两个数据校验模块来保证数据的安全,且校验条带均匀分布在各个磁盘上。 图7 RAID 60数据存储原理 其中,PA为A0、A1和A2的第一个校验信息块,QA为第二个校验信息块;PB为B0、B1和B2的第一个校验信息块,QB为第二个校验信息块,以此类推。
-
CentOS 7.4安装操作 登录裸金属服务器,执行以下命令,切换至root权限。 su root (可选)如果不存在依赖包gcc、gcc-c++、make和kernel-devel,请执行以下命令进行安装。 yum install gcc yum install gcc-c++ yum install make yum install kernel-devel-`uname -r` (可选)将Nouveau驱动列入黑名单。 如果已经安装并加载了Nouveau的显卡驱动,请执行以下操作将Nouveau驱动列入黑名单以避免冲突。 编辑“/etc/modprobe.d/blacklist.conf”,在文件后面添加blacklist nouveau。 运行以下命令备份与重建initramfs: mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak dracut -v /boot/initramfs-$(uname -r).img $(uname -r) 重启:reboot。 (可选)如果X服务正在运行,请执行systemctl set-default multi-user.target命令并重启裸金属服务器以进入多用户模式。 (可选)安装NVIDIA GPU驱动。 如果选择了特定版本的NVIDIA GPU驱动,而不是捆绑在CUDA工具包中的版本,则需要执行此步骤。 下载NVIDIA GPU驱动安装包NVIDIA-Linux-x86_64-xxx.yy.run(下载链接:https://www.nvidia.com/Download/index.aspx?lang=en),并将该安装包上传至裸金属服务器的“/tmp”目录下。 图1 搜索NVIDIA驱动包(CentOS 7.4) 执行以下命令,安装NVIDIA GPU驱动。 sh ./NVIDIA-Linux-x86_64-xxx.yy.run 执行以下命令,删除安装包。 rm -f NVIDIA-Linux-x86_64-xxx.yy.run 安装CUDA工具包。 下载CUDA Toolkit安装包cuda_a.b.cc_xxx.yy_linux.run(下载链接:https://developer.nvidia.com/cuda-downloads),并将该安装包上传至裸金属服务器的“/tmp”目录下。 执行以下命令,修改安装包的权限。 chmod +x cuda_a.b.cc_xxx.yy_linux.run 执行以下命令,安装CUDA工具包。 ./cuda_a.b.cc_xxx.yy_linux.run --toolkit --samples --silent --override --tmpdir=/tmp/ 执行以下命令,删除安装包。 rm -f cuda_a.b.cc_xxx.yy_linux.run 执行如下三条命令,验证是否安装成功。 cd /usr/local/cuda/samples/1_Utilities/deviceQueryDrv/ make ./deviceQueryDrv 回显信息中包含“Result = PASS”,表示CUDA工具包和NVIDIA GPU驱动安装成功。
-
Ubuntu 16.04安装操作 登录裸金属服务器,执行以下命令,切换至root权限。 sudo root (可选)如果不存在依赖包gcc、g++和make,请执行以下命令进行安装。 apt-get install gcc apt-get install g++ apt-get install make (可选)将Nouveau驱动列入黑名单。 如果已经安装并加载了Nouveau的显卡驱动,请执行以下操作将Nouveau驱动列入黑名单以避免冲突。 编辑“/etc/modprobe.d/blacklist.conf”,在文件后面加入以下内容: blacklist nouveau options nouveau modeset=0 执行以下命令备份与重建initramfs: mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak sudo update-initramfs -u 重启:sudo reboot (可选)如果X服务正在运行,请执行systemctl set-default multi-user.target命令并重启裸金属服务器以进入多用户模式。 (可选)安装NVIDIA GPU驱动。 如果选择了特定版本的NVIDIA GPU驱动,而不是捆绑在CUDA工具包中的版本,则需要执行此步骤。 下载NVIDIA GPU驱动安装包NVIDIA-Linux-x86_64-xxx.yy.run(下载链接:https://www.nvidia.com/Download/index.aspx?lang=en),并将该安装包上传至裸金属服务器的“/tmp”目录下。 图2 搜索NVIDIA驱动包 执行以下命令,安装NVIDIA GPU驱动。 sh ./NVIDIA-Linux-x86_64-xxx.yy.run 执行以下命令,删除安装包。 rm -f NVIDIA-Linux-x86_64-xxx.yy.run 安装CUDA工具包。 下载CUDA Toolkit安装包cuda_a.b.cc_xxx.yy_linux.run(下载链接:https://developer.nvidia.com/cuda-downloads),并将该安装包上传至裸金属服务器的“/tmp”目录下。 执行以下命令,修改安装包的权限。 chmod +x cuda_a.b.cc_xxx.yy_linux.run 执行以下命令,安装CUDA工具包。 ./cuda_a.b.cc_xxx.yy_linux.run --toolkit --samples --silent --override --tmpdir=/tmp/ 执行以下命令,删除安装包。 rm -f cuda_a.b.cc_xxx.yy_linux.run 执行如下三条命令,验证是否安装成功。 cd /usr/local/cuda/samples/1_Utilities/deviceQueryDrv/ make ./deviceQueryDrv 回显信息中包含“Result = PASS”,表示CUDA工具包和NVIDIA GPU驱动安装成功。 执行以下命令,验证驱动是否正常使用。 nvidia-smi topo -m 回显信息中如果正常显示GPU的信息,则表示驱动可正常使用。
-
前提条件 已绑定弹性公网IP。 已下载对应操作系统所需驱动的安装包。 表1 NVIDIA GPU驱动和CUDA工具包下载 操作系统 需要下载的驱动 下载地址 Ubuntu 16.04、CentOS 7.4 NVIDIA GPU驱动安装包“NVIDIA-Linux-x86_64-384.81.run” http://www.nvidia.com/download/driverResults.aspx/124722/en-us CUDA工具包安装包“cuda_9.0.176_384.81_linux.run” https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=CentOS&target_version=7&target_type=runfilelocal
-
Ubuntu 16.04安装操作 登录裸金属服务器,执行以下命令,切换至root权限。 sudo root (可选)如果不存在依赖包gcc、g++和make,请执行以下命令进行安装。 apt-get install gcc apt-get install g++ apt-get install make (可选)将Nouveau驱动列入黑名单。 如果已经安装并加载了Nouveau的显卡驱动,请执行以下操作将Nouveau驱动列入黑名单以避免冲突。 编辑“/etc/modprobe.d/blacklist.conf”,在文件后面加入以下内容: blacklist nouveau options nouveau modeset=0 执行以下命令备份与重建initramfs: mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak sudo update-initramfs -u 重启:sudo reboot (可选)如果X服务正在运行,请执行systemctl set-default multi-user.target命令并重启裸金属服务器以进入多用户模式。 (可选)安装NVIDIA GPU驱动。 如果选择了特定版本的NVIDIA GPU驱动,而不是捆绑在CUDA工具包中的版本,则需要执行此步骤。 下载NVIDIA GPU驱动安装包NVIDIA-Linux-x86_64-xxx.yy.run(下载链接:https://www.nvidia.com/Download/index.aspx?lang=en),并将该安装包上传至裸金属服务器的“/tmp”目录下。 图2 搜索NVIDIA驱动包(Ubuntu 16.04) 执行以下命令,安装NVIDIA GPU驱动。 sh ./NVIDIA-Linux-x86_64-xxx.yy.run 执行以下命令,删除安装包。 rm -f NVIDIA-Linux-x86_64-xxx.yy.run 安装CUDA工具包。 下载CUDA Toolkit安装包cuda_a.b.cc_xxx.yy_linux.run(下载链接:https://developer.nvidia.com/cuda-downloads),并将该安装包上传至裸金属服务器的“/tmp”目录下。 执行以下命令,修改安装包的权限。 chmod +x cuda_a.b.cc_xxx.yy_linux.run 执行以下命令,安装CUDA工具包。 ./cuda_a.b.cc_xxx.yy_linux.run --toolkit --samples --silent --override --tmpdir=/tmp/ 执行以下命令,删除安装包。 rm -f cuda_a.b.cc_xxx.yy_linux.run 执行如下三条命令,验证是否安装成功。 cd /usr/local/cuda/samples/1_Utilities/deviceQueryDrv/ make ./deviceQueryDrv 回显信息中包含“Result = PASS”,表示CUDA工具包和NVIDIA GPU驱动安装成功。
-
CentOS 7.4安装操作 登录裸金属服务器,执行以下命令,切换至root权限。 su root (可选)如果不存在依赖包gcc、gcc-c++、make和kernel-devel,请执行以下命令进行安装。 yum install gcc yum install gcc-c++ yum install make yum install kernel-devel-`uname -r` (可选)将Nouveau驱动列入黑名单。 如果已经安装并加载了Nouveau的显卡驱动,请执行以下操作将Nouveau驱动列入黑名单以避免冲突。 编辑“/etc/modprobe.d/blacklist.conf”,在文件后面添加blacklist nouveau。 运行以下命令备份与重建initramfs: mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak dracut -v /boot/initramfs-$(uname -r).img $(uname -r) 重启:reboot。 (可选)如果X服务正在运行,请执行systemctl set-default multi-user.target命令并重启裸金属服务器以进入多用户模式。 (可选)安装NVIDIA GPU驱动。 如果选择了特定版本的NVIDIA GPU驱动,而不是捆绑在CUDA工具包中的版本,则需要执行此步骤。 下载NVIDIA GPU驱动安装包NVIDIA-Linux-x86_64-xxx.yy.run(下载链接:https://www.nvidia.com/Download/index.aspx?lang=en),并将该安装包上传至裸金属服务器的“/tmp”目录下。 图1 搜索NVIDIA驱动包(CentOS 7.4) 执行以下命令,安装NVIDIA GPU驱动。 sh ./NVIDIA-Linux-x86_64-xxx.yy.run 执行以下命令,删除安装包。 rm -f NVIDIA-Linux-x86_64-xxx.yy.run 安装CUDA工具包。 下载CUDA Toolkit安装包cuda_a.b.cc_xxx.yy_linux.run(下载链接:https://developer.nvidia.com/cuda-downloads),并将该安装包上传至裸金属服务器的“/tmp”目录下。 执行以下命令,修改安装包的权限。 chmod +x cuda_a.b.cc_xxx.yy_linux.run 执行以下命令,安装CUDA工具包。 ./cuda_a.b.cc_xxx.yy_linux.run --toolkit --samples --silent --override --tmpdir=/tmp/ 执行以下命令,删除安装包。 rm -f cuda_a.b.cc_xxx.yy_linux.run 执行如下三条命令,验证是否安装成功。 cd /usr/local/cuda/samples/1_Utilities/deviceQueryDrv/ make ./deviceQueryDrv 回显信息中包含“Result = PASS”,表示CUDA工具包和NVIDIA GPU驱动安装成功。
-
前提条件 已绑定弹性公网IP。 已下载对应操作系统所需驱动的安装包。 表1 NVIDIA GPU驱动和CUDA工具包下载 操作系统 需要下载的驱动 下载地址 Ubuntu 16.04、CentOS 7.4 NVIDIA GPU驱动安装包“NVIDIA-Linux-x86_64-384.81.run” https://www.nvidia.com/download/driverResults.aspx/124722/en-us CUDA工具包安装包“cuda_9.0.176_384.81_linux.run” https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=CentOS&target_version=7&target_type=runfilelocal
-
操作场景 当您不再需要裸金属服务器时,可将其删除。服务器的状态一旦变为“已删除”,就不再产生与该服务器相关的费用。 在您删除服务器之后,短时间内仍可在控制台看见该服务器(状态为“已删除”),然后该条目将自动被删除。在服务器删除后,标签和卷等资源会逐步与服务器取消关联,存储卷上的数据也会被删除。 对于“包年/包月”裸金属服务器,计费周期到期后,您可以手动释放;如果一直未续费,服务器也会自动释放。服务器到期前,您可以申请“退订”提前释放服务器。
-
操作场景 停止服务器,即对裸金属服务器执行关机操作。停止服务器的前提条件是裸金属服务器必须处于“运行中”状态。 停止服务器不会影响“包年/包月”付费类型(也称包周期)服务器的费用。如有其他绑定的产品,如云硬盘、弹性公网IP、带宽等,按各自产品的计费方式(“包年/包月”或“按需付费”)进行收费。 停止服务器为“强制关机”方式,会中断您的业务,请确保服务器上的文件已保存。 当前仅支持从管理控制台关机裸金属服务器,不支持在单独实例OS内部使用关机命令关机裸金属服务器。由于在单独实例OS内部使用shutdown等其他关机命令时,会被系统认为异常关机操作,导致命令不生效。
-
Linux服务器登录方式概述 根据裸金属服务器的网络设置,以及您本地设备的操作系统,您可以选择合适的方法登录Linux服务器。 表1 Linux服务器登录方式说明 能访问公网 本地设备操作系统 登录方法 是/否 Windows或者Linux 远程登录方式 是 Windows 使用PuTTY等远程连接工具: 登录凭证为SSH密钥对:SSH密钥方式登录 登录凭证为密码:SSH密码方式登录 是 Linux 使用命令: 登录凭证为SSH密钥对:SSH密钥方式登录 登录凭证为密码:SSH密码方式登录 父主题: 登录Linux服务器
-
操作场景 用户创建裸金属服务器后,可以通过“申请状态”栏查看任务的创建状态。创建裸金属服务器的任务可以包括创建裸金属服务器资源、绑定弹性公网IP、挂载云硬盘等子任务。 申请状态栏的任务状态包括如下两类: 处理中:指系统正在处理的请求。 处理失败:指未能成功处理的请求。对于处理失败的任务,系统会自动回退,同时在界面上直观的展示错误码,例如“(BMS.3033)创建系统卷失败。” 本节介绍如何查看裸金属服务器的申请状态以及申请状态栏的提示信息说明。
-
操作步骤 您可以按照创建裸金属服务器中的操作指导创建裸金属服务器。 在配置参数时,需要注意以下几点: 区域:必须选择私有镜像所在的区域。 规格:不同裸金属服务器规格所支持的操作系统有所差异,请参考“裸金属服务器类型与支持的操作系统版本”并根据私有镜像的操作系统来选择规格。 镜像:选择“私有镜像”或“共享镜像”,并在下拉列表中选择需要的镜像。 磁盘:如果所选规格支持快速发放,那么系统盘在设置时,建议将容量调大2GB以上。
-
操作场景 在裸金属服务器发放过程中,普通裸金属服务器的操作系统需要从云端下载、安装,下载过程会消耗较长时间。基于云硬盘的裸金属服务器的操作系统直接安装在云硬盘(即系统盘使用云硬盘),所以可以实现快速发放能力。 相比普通裸金属服务器,快速发放型服务器有如下优势: 从云硬盘启动,发放时间缩短至5min左右。 支持整机备份,数据更有保障。 支持故障重建,保证业务快速恢复。 支持镜像导出,可将现有裸金属服务器的配置复用在其他机器,节省重复配置的时间。 在裸金属服务器创建界面,选择支持快速发放的规格,设置系统盘类型和容量,并按照需求配置其他参数,即可获取一台快速发放型裸金属服务器。
-
操作步骤 您可以按照创建裸金属服务器的描述创建快速发放型裸金属服务器。 在选择配置时,需要注意以下几点: 规格:可以选择physical.s4.medium、physical.s4.large、physical.s4.xlarge、physical.s4.2xlarge和physical.s4.3xlarge。关于规格的详细信息,请参阅实例家族。 镜像:只支持部分公共镜像,请以界面显示为准。 磁盘:设置“系统盘”的磁盘类型和大小。 自动备份:为保证数据安全,建议您启用自动备份功能。勾选“启用自动备份”,并设置“备份策略”。
-
创建并管理裸金属服务网络 安全组 一般按以下步骤使用安全组: 创建安全组。 添加安全组规则。 在创建裸金属服务器时将实例加入安全组。 删除安全组规则。 删除安全组。 弹性公网IP 一般按以下步骤使用弹性公网IP: 绑定弹性公网IP至服务器。 从服务器解绑弹性公网IP。 虚拟私有云 您可以为网卡绑定额外的IP地址(称为虚拟IP,或者浮动IP),从而实现更灵活的网络功能。还可以开启网卡的“源/目的检查”,这有助于防止伪装报文攻击,提升安全性。 为裸金属服务器绑定虚拟IP地址 设置网卡的源/目的检查 高速网络 关于高速网络有如下操作: 管理高速网络 自定义VLAN网络 关于自定义VLAN网络有如下操作: 自定义VLAN网络概述 自定义VLAN网络需要在操作系统中配置,不同操作系统类型配置方法也不同,参考配置自定义VLAN网络(SUSE Linux Enterprise Server 12系列)~配置自定义VLAN网络(Windows Server系列)。
-
创建并管理磁盘 一般操作 当磁盘作为数据盘使用时,按如下步骤使用磁盘: 创建磁盘,可分为: 通过云硬盘服务创建磁盘。 通过专属分布式存储服务创建磁盘。 通过专属企业存储服务创建磁盘。 想了解三种方式的差异,请参阅磁盘类型概述。 挂载数据盘。 初始化数据盘。 卸载数据盘。 删除磁盘。 变更配置 如果已有的系统盘或数据盘的容量无法满足需求,您可以扩容磁盘。磁盘扩容完成后,需要将扩容部分的容量划分至原有分区中,或者对扩容部分的磁盘分配新的分区。
-
创建并管理裸金属服务器 一般操作 通常按以下步骤使用裸金属服务器: 参考创建裸金属服务器创建裸金属服务器实例。 若裸金属服务器配额不足,您可以申请扩大配额。 登录裸金属服务器实例。使用的操作系统不同,登录方式也不同。 Linux实例:远程登录方式、SSH密钥方式登录或者SSH密码方式登录。 Windows实例:远程桌面连接(MSTSC方式)。 关机裸金属服务器。 释放裸金属服务器。 计费管理 您可以使用不同的方式续费包年/包月裸金属服务器: 手动续费。 自动续费。
-
前提条件 裸金属服务器的监控指标功能需要预先安装 CES 主机监控Agent。如您选择公共镜像创建裸金属服务器,则可以在创建时通过勾选的方式,默认完成CES主机监控Agent的安装,如图1所示。 图1 默认安装Agent 如果您选择的是私有镜像或共享镜像创建裸金属服务器则无法通过上述勾选的方式自动安装CES主机监控Agent,您需要手动安装Agent以实现主机监控能力。详细的安装步骤请参见“Agent安装配置方式说明。” 裸金属服务器正常运行。关机、故障、删除状态的裸金属服务器无法在 云监控 中查看其监控指标。当裸金属服务器再次启动或恢复后,即可正常查看。 已安装配置主机监控。若未安装则无法查看到资源的监控数据。具体操作请参见安装配置Agent。
-
自定义组RAID工具 下载地址:https://support.huawei.com/carrier/navi?coltype=software#col=software&from=product&detailId=PBI1-259881031&path=PBI1-253383977/PBI1-23710112/PBI1-23710137/PBI1-22346033 下载完成后,将工具传入需要组RAID的裸金属服务器上,使用以下命令为工具赋权。其中physical.io2.xlarge,physical.d2.large机型使用configure_raid_x86,其余使用configure_raid_arm。 # chmod +x ./configure_raid_x86 # chmod +x ./configure_raid_arm 以configure_raid_x86脚本为例,常见命令及参数描述如下: # ./configure_raid_x86 -h 查看帮助 # ./configure_raid_x86 --a show 查看raid配置 其中basic raid为raid驱动器中所有vd信息, bootdrive为系统盘vd信息,系统盘raid为不可随意删除,pds为所有磁盘信息。 # ./configure_raid_x86 --a create --l LEVEL --d DISKS 配置raid 参数说明: --l:必选参数,raid级别。 --d:可选参数,创建raid的pds,若不选择则默认选择全部除系统盘以外pd。 选择的磁盘若已有raid/单盘jbod配置,脚本会拆除原有raid配置并组新raid且无法配置系统盘raid。 # ./configure_raid_x86 --a delete --v VD 删除raid --v: 可选参数,待删除的vd,若不选择则默认选择全部除系统盘以外vd。 无法删除系统盘raid。
-
使用实例 下载工具,修改工具文件权限: 查看当前硬盘与Raid配置,执行命令:./configure_raid_x86 -a show 执行结果说明: basic raid区域显示当前已有的Raid。示例中为槽位号为1:0与1:1的硬盘组成的Raid,vd的id为0,dg的id为0,级别为Raid1。 boot_drive显示启动分区,一般为系统盘,不支持自定义配置。示例中为id为0的vd。 jbod_list、ubad_list为当前设置为jbod或unconfigured good两种状态的硬盘。 all pds can be configured raid为当前可供自定义组Raid的硬盘,其中已排除了系统盘。 以组Raid10为例,执行命令:./configure_raid_x86 -a create -l 10 -d 1:2,1:3,1:4,1:5,其中成员硬盘的信息用半角英文逗号分隔: 执行命令:./configure_raid_x86 -a show,确认已配置成功,此处新建了id为1的vd,级别为Raid10: 可选,删除已存在的Raid,执行命令./configure_raid_x86 -a delete -v 1,其中1为待删除的vd的id。删除后成功后执行命令./configure_raid_x86 -a show再次查看,以确认删除正常:
-
常见报错说明 在使用组RAID工具过程中,常见的报错提示及解决方法如表2所示。 表2 常见报错说明 console信息 问题原因 Flavor not supported!!! 不支持此flavor,请勿使用 Necessary document not found!! 解压后文件未找到,检查文件 Raid controller not found!! 裸机不含有raid驱动器,请勿使用 unknown raid level 未识别的raid级别 Run command failed 运行出错,联系支撑人员
-
支持列表 支持配置RAID的实例规格及相关配置信息如表1所示。 表1 支持配置RAID的实例规格及配置 实例规格 支持Raid BV513.0.1.0 (physical.d2.large) RAID 0/1/5/6/10/50/60 BV563 (physical.io2.xlarge) RAID 0/1/5/6/10/50/60 BV612 (physical.ki1.4xlarge.cbg.ondemand) RAID 0/1/10 支持配置RAID的操作系统如下: EulerOS 2.3及以上版本 Ubuntu 20.04 及以上版本 Debian 10 及以上版本 CentOS 7.6 及以上版本
-
操作步骤 登录管理控制台。 单击“服务列表”,选择“ 云审计 服务”。 单击左侧导航中的“事件列表”。 事件记录了云资源的操作详情,设置筛选条件,单击“查询”。 当前事件列表支持四个维度的组合查询,详细信息如下: 事件类型、事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。其中,“事件类型”选择“管理事件”,“事件来源”选择“BMS”。 图1 设置筛选条件 其中, 筛选类型选择“按资源ID”时,还需手动输入某个具体的资源ID,目前仅支持全字匹配模式的查询。 筛选类型选择“按资源名称”时,还需选择或手动输入某个具体的资源名称。 操作用户:在下拉框中选择某一具体的操作用户。 事件级别:可选项为“所有事件级别”、“Normal”、“Warning”、“Incident”,只可选择其中一项。 时间范围:可选项为“最近1小时”、“最近1天”、“最近1周”和“自定义时间段”,本示例选择“最近1周”。 在需要查看的事件左侧,单击展开该事件的详细信息。 图2 展开事件 在需要查看的事件右侧,单击“查看事件”,弹出一个窗口,显示了该操作事件结构的详细信息。 图3 查看事件 关于云审计事件结构的关键字段详解,请参见“事件结构”。
-
支持审计的关键操作列表 表1 云审计支持的裸金属服务器操作列表 操作名称 资源类型 事件名称 创建裸金属服务器 bms createBareMetalServers 删除裸金属服务器 bms deleteBareMetalServers 启动裸金属服务器 bms startBareMetalServers 关闭裸金属服务器 bms stopBareMetalServers 重启裸金属服务器 bms rebootBareMetalServers
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- ...
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章