华为云用户手册
-
软件与工具 需要准备的软件和工具如表1 软件和工具所示。 表1 软件和工具 项目 说明 获取地址 本地PC 使用Windows操作系统,Windows 7以上版本。 - PuTTY和PuTTYgen 用于登录云服务器并进行命令行操作。 https://www.chiark.greenend.org.uk/~sgtatham/putty/download.html 操作系统镜像 SUSE Linux Enterprise Server for SAP Applications镜像。 https://www.suse.com/products/sles-for-sap/download/ SAP GUI 7.5 SAP系统客户端本指南以SAP GUI 7.5为示例。 此场景下,SAP GUI部署在NAT服务器上。 登录SAP官方地址下载各安装介质: https://support.sap.com/en/my-support/software-downloads.html SAP S/4HANA SAP S/4HANA软件安装包。 此处需要用户自行上传软件包到相对应区域的OBS桶,并在填写参数时把上传后的文件地址填写到“OBS桶URL”参数。具体上传方式请参考《OBS快速入门》。
-
操作步骤 注册云服务账号并开通OBS。 请参考 对象存储服务 客户端下载页面,下载并安装客户端。 请参考OBS工具指南,上传所需软件安装包。 SAP S/4HANA桶路径对应的目录必须包含以下前缀开头的文件夹,字母区分大小写: BSK_ CD:包含SAP kernel patch。 CLNT_CD:包含DB CLIENT对应的包。 EXP_CD:包含EXP对应的包,必须包含以part1.exe结尾的文件。 SWPM_CD:必须包含SAPCAR对应的.exe文件和SWPM对应的.sar文件,后缀名必须是.exe和.sar。 根据实际情况,选择上传软件安装包到OBS的目录。 OBS目录文件夹名称区分大小写,请按照示例创建,否则会导致获取软件安装包不成功。 软件上传后,发放SAP S/4HANA(不带HANA)在OBS中的目录示例如下所示: obs-sap├readme.txt └s4hana └s4hana1709 ├SWPM_CD │ ├SWPM10SP22_8-20009701.SAR │ └SAPCAR_721-20010450.EXE │ ├EXP_CD │ ├51052190_part5.rar │ ├51052190_part4.rar │ ├51052190_part3.rar │ ├51052190_part2.rar │ └51052190_part1.exe ├CLNT_CD │ └51052377.ZIP └BSK_CD ├igsexe_1-80003187.sar ├igshelper_4-10010245.sar ├SAPEXE_16-80002573.SAR ├SAPHOSTAGENT32_32-20009394.SAR └SAPEXEDB_16-80002572.SAR 软件上传后,发放SAP S/4HANA(带HANA)在OBS中的目录示例如下所示: obs-sap├readme.txt └s4hana └s4hana1709 ├SWPM_CD │ ├SWPM10SP22_8-20009701.SAR │ └SAPCAR_721-20010450.EXE │ ├EXP_CD │ ├51052190_part5.rar │ ├51052190_part4.rar │ ├51052190_part3.rar │ ├51052190_part2.rar │ └51052190_part1.exe ├CLNT_CD │ └51052377.ZIP ├BSK_CD │ ├igsexe_1-80003187.sar │ ├igshelper_4-10010245.sar │ ├SAPEXE_16-80002573.SAR │ ├SAPHOSTAGENT32_32-20009394.SAR │ └SAPEXEDB_16-80002572.SAR └HANA ├51053061_part1.exe ├51053061_part2.rar ├51053061_part3.rar └51053061_part4.rar
-
使用的云服务 在快速部署场景下,资源模板发放SAP S/4HANA所使用的云服务如表1所示。 表1 使用的云服务 云服务名称 作用 弹性云服务器(E CS ) SAP S/4HANA软件部署在弹性云服务器上。 云硬盘(EVS) SAP S/4HANA场景下使用的弹性云服务器绑定了多块云硬盘。 虚拟私有云(VPC) SAP S/4HANA场景下所涉及到的弹性云服务器,都位于同一个VPC中,并且需要使用VPC中的子网和安全组的相关网络安全隔离。 镜像(IMS) 在创建弹性云服务器时,需要使用符合要求的镜像文件。 企业管理 通过模板化的方式创建资源并安装SAP S/4HANA。 对象存储(OBS) 存储SAP S/4HANA安装包、初始化与自动安装脚本。 弹性文件服务(SFS) SAP S/4HANA场景下SAP HANA数据库的Backup卷由SFS提供。
-
查看SAP HANA部署状态 使用PuTTY软件,以“root”帐号和密钥文件(“.ppk”文件)为鉴权方式,登录绑定了弹性IP的NAT Server,并通过SSH协议,跳转到SAP HANA服务器。 检查SAP HANA安装结果。 切换到“/hana/shared/$SID/HDB00/”目录。 例如 cd /hana/shared/S00/HDB00 切换到数据库系统管理员用户。 管理员帐号为安装过程中界面提示的“s00adm”。 su - s00adm 查询数据库的版本。 如果能查询到版本信息,则表示数据库软件安装成功。 HDB -version 数据库安装成功,系统返回的版本信息类似如下所示。 HDB version info: version: 2.00.020.00.1500920972 branch: fa/hana2sp02 git hash: 7f63b0aa11dca2ea54d450aa302319302c2eeaca git merge time: 2017-07-24 20:29:32 weekstone: 0000.00.0 compile date: 2017-07-24 20:35:12 compile host: ld4551 compile type: rel 检查数据库进程是否运行正常。 执行命令,检查进程。 “00”为SAP HANA的实例ID。 sapcontrol -nr 00 -function GetProcessList 系统返回结果示例如下,“dispstatus”为“GREEN”表示进程正常。 13.04.2017 16:04:15GetProcessListOKname, description, dispstatus, textstatus, starttime, elapsedtime, pidhdbdaemon, HDB Daemon, GREEN, Running, 2017 04 13 11:18:33, 4:45:42, 3013hdbcompileserver, HDB Compileserver, GREEN, Running, 2017 04 13 11:18:42, 4:45:33, 3154hdbindexserver, HDB Indexserver, GREEN, Running, 2017 04 13 11:18:47, 4:45:28, 3180hdbnameserver, HDB Nameserver, GREEN, Running, 2017 04 13 11:18:34, 4:45:41, 3027hdbpreprocessor, HDB Preprocessor, GREEN, Running, 2017 04 13 11:18:42, 4:45:33, 3156hdbwebdispatcher, HDB Web Dispatcher, GREEN, Running, 2017 04 13 11:19:09, 4:45:06, 3513hdbxsengine, HDB XSEngine, GREEN, Running, 2017 04 13 11:18:47, 4:45:28, 3182 退回到“root”用户模式。 exit
-
配置服务器互信与密码 为了实现NAT服务器与SAP HANA和SAP S/4HANA服务器互相通过SSH协议跳转的功能,需要配置服务器之间的互信。创建完成的SAP S/4HANA服务器“root”账户密码为镜像默认密码,我们需要使用密钥对登录NAT服务器来配置其与SAP HANA和SAP S/4HANA服务器的互信,并更改SAP HANA和SAP S/4HANA服务器“root”账户的密码。 创建NAT服务器,请参考《SAP HANA用户指南(单节点)》。 使用PuTTY软件,以“root”帐号和密钥文件(“.ppk”文件)为鉴权方式登录NAT服务器。将NAT服务器上的私钥和“authorized_keys”文件,通过IP地址发送给SAP HANA和SAP S/4HANA服务器。命令格式如下: scp /root/.ssh/id_rsa 对端的IP地址:/root/.ssh/id_rsa scp /root/.ssh/authorized_keys 对端的IP地址:/root/.ssh/ 例如,对端IP地址为“10.0.3.102”和“10.0.3.2”: scp /root/.ssh/id_rsa 10.0.3.102:/root/.ssh/id_rsa scp /root/.ssh/authorized_keys 10.0.3.102:/root/.ssh/ scp /root/.ssh/id_rsa 10.0.3.2:/root/.ssh/id_rsa scp /root/.ssh/authorized_keys 10.0.3.2:/root/.ssh/ 验证跳转功能。 在NAT Server上,通过SSH跳转到SAP HANA和SAP S/4HANA服务器上,假设SAP S/4HANA服务器IP地址为“10.0.3.102”。 ssh 10.0.3.102 首次跳转时会显示fingerprint信息,并提示“Are you sure you want to continue connecting (yes/no)?”,此时,需要输入“yes”并继续执行跳转。 跳转到SAP HANA和SAP S/4HANA服务器后,执行以下命令更改“root”账户密码。 passwd 按照界面提示,输入密码并进行确认。 “root”帐号密码非常重要,请务必牢记密码。同时请确保本场景下所有服务器的 “root”帐号密码保持一致。
-
查看SAP S/4HANA部署状态 云服务器发放完成后部署SAP S/4HANA软件还需要一段时间,我们需要登录SAP S/4HANA服务器查看软件部署状态。 使用PuTTY软件,以“root”帐号和密钥文件(“.ppk”文件)为鉴权方式,为鉴权方式,登录绑定了弹性IP的NAT Server,并通过SSH协议,跳转到SAP S/4HANA服务器。 在命令行界面,执行以下命令,查看安装日志。 tailf /var/log/huawei/auto-install/s4-intall.log 当安装日志显示“Install S/4HANA Successful”,表示软件部署完成。安装成功的日志内容示例如下。 INFO 2018-12-26 17:50:26.325 (root/sapinst) (startInstallation) [syuxcpath.cpp:441]id=syslib.filesystem.creatingFile CSyPath::createFile()Creating file/tmp/sapinst_instdir/S4HANA1809/CORE/HDB/INSTALL/STD/ABAP/instslana.xml.INFO 2018-12-26 17:50:29.746 (root/sapinst)(startInstallation) [syuxcdir.cpp:147] id=syslib.filesystem.removedDirectoryCSyDirectoryImpl::sap_remove(ISyFSErrorHandler * pErrorHandler)Removed directory /root/.sapinst/s41809/4576.[2018-12-26 17:50:29] [INFO ] [s4-install.sh 319] Install S/4HANA successful[2018-12-26 17:50:29] [INFO ] [s4-install.sh 540] ******************End to install S/4HANA 1709********************[2018-12-26 17:50:29] [INFO ] [s4-install.sh 543] ******************clean password in the INIT files******************** 不同软件版本、不同资源配置条件下软件部署时间会有所差别,软件部署时间大约在一小时到数小时之间。
-
操作步骤 登录所有云服务器。 执行以下命令,在云服务器上检查是否已安装Data Provider软件。 systemctl status hwdataproviderp3 执行命令后,查看状态类似下图所示,“Active”为active(Running),表示已安装Data Provider软件,否则请参考《Data Provider for SAP用户指南》,安装Data Provider软件。
-
修订记录 修订记录 发布日期 进行了以下变更: 增加SUSE 15镜像支持。 2019-08-30 进行了以下变更: 增加创建SAP S/4HANA(带HANA)内容。 2019-05-27 进行了以下变更: 部署方式由资源模板服务更改为企业管理服务。 2019-02-15 进行了以下变更: 增加M3型服务器规格。 2018-11-20 进行了以下变更: 刷新了部署模板参数。 2018-10-30 第一次正式发布。 2018-09-30
-
Scale Up和Scale Out 从节点扩展方式区分:SAP HANA可以分为Scale Up和Scale Out两种架构。 Scale Up:称为单节点系统,指系统中只包括一个有效节点(如果需要HA时,可以将两个单节点以System Replication形式构成单节点的HA架构)。这种架构的系统只具有垂直扩展能力,当需要扩展系统时,通过在节点上增加更多的CPU、内存和硬盘来扩大系统的能力。 目前公有云上暂不支持SAP HANA运行时,对该节点在线扩大能力,例如增加更多的CPU、内存或硬盘。 Scale Out:称为集群系统。指由多个节点组成的SAP HANA系统,这种系统的扩展主要以水平扩展方式(指增加节点的方式)来进行。
-
应用场景与部署形式 根据系统的不同,推荐的部署方式如表1所示。 PRD(Production):生产系统。SAP HANA正式在生产环境上使用。 QAS(Quality Assure):质量保证系统。对SAP HANA的功能、性能、可靠性等进行充分验证。 DEV(Development):开发系统。开发人员在应用软件开发期间,将应用软件与SAP HANA进行配合调试,并不断修改和优化应用软件。 TRN(Training):培训演示系统,租户部署SAP HANA后,用于向其他人培训或演示。 TST(Test):测试系统。完成应用软件开发后,测试人员将应用软件与SAP HANA配合进行测试,验证应用软件的功能。 SoH(Suite on HANA)指SAP HANA配合SAP公司的商务套件(如ERP、CRM等)使用的场景。在该场景下,SAP HANA提供OLTP功能,关注SAP HANA的处理时延。 BWoH(BusinessWarehouse on HANA)指SAP HANA配合SAP公司的BusinessWarehouse使用的场景。在该场景下,SAP HANA提供OLAP功能,支持大量的数据在SAP HANA中进行快速计算和分析,关注SAP HANA的处理性能以及HANA节点之间的网络带宽。 表1 系统与部署方案 系统 SoH BWoH(单节点) BWoH(集群) PRD 单节点(HA) 单节点(HA) 集群(双NFS Server) QAS 单节点(无HA)或单节点(HA) 单节点(无HA)或单节点(HA) 单节点(无HA)或集群(双NFS Server)或集群(单NFS Server) DEV 单节点(无HA) 单节点(无HA) 单节点(无HA) TRN 单节点(无HA) 单节点(无HA) 单节点(无HA) TST 单节点(无HA) 单节点(无HA) 单节点(无HA)
-
云服务 在公有云上部署SAP HANA所需要的云服务如下。 弹性云服务器(ECS) SAP HANA软件部署在云服务器上。其中SAP HANA部署在HANA云服务器,NFS (Network File System) Server、SAP HANA Studio和NAT Server部署在弹性云服务器上。 在SAP HANA集群部署场景下,NFS Server提供Shared卷和Backup卷,并共享给所有SAP HANA节点。 HANA ECS是ECS云服务提供的一种高性能云服务器。 SAP HANA Studio和NAT Server的更详细说明,请参见《SAP HANA用户指南(单节点)》中的说明。 云硬盘(EVS) SAP HANA场景下使用的云服务器,均绑定了云硬盘。 虚拟私有云(VPC) SAP HANA场景下所涉及到的云服务器,都位于同一个VPC中,并且需要使用VPC中的子网和安全组的相关网络安全隔离。 镜像(IMS) 在创建HANA云服务器和弹性云服务器时,需要使用符合要求的镜像文件。 卷备份(VBS) 通过该服务,可对SAP HANA节点的卷进行备份。 弹性文件服务(SFS) 在某些部署场景下,创建SFS用于Backup卷,提供共享路径给SAP HANA节点。 父主题: 所需资源
-
备份 提供两种备份方式: 基于共享文件的备份,为适配SAP HANA本身备份机制的实现。 使用两台云服务器搭建一套高可用的NAS系统(即NFS Server),SAP HANA的数据备份到Backup卷上,然后可将该数据再备份到OBS的桶上。 基于卷的备份:这是基于公有云云平台卷备份能力提供的备份机制。使用该备份方式时,需要租户自行执行备份和恢复的操作,并自行保证SAP HANA上的Data卷和Log卷的一致性。 备份目的地仅在可用分区内:对卷做快照,然后基于快照可以回滚,也可以基于快照创建新卷(但新卷是处于同一个可用分区内)。 备份目的地在对象存储:先对卷打快照,然后基于快照做备份,然后基于备份可以在可用分区内或跨分区进行恢复。
-
HA 在单节点部署时: 在SAP HANA的单节点部署场景下,云服务器所在的物理机故障时,能触发云服务器的倒换,在另外一台物理机上重新创建SAP HANA节点,并重新加载Log和Data卷。 在SAP HANA的单节点(HA)部署场景下,主节点和备节点采用System Replication的机制保持同步,当SAP HANA主节点发生故障时,可以手工或自动将业务切换到备节点上。 在集群部署时: SAP HANA提供了HAF(Host Auto-Failover)机制。当集群中一个工作节点故障时,系统自动倒换到备节点,实现了集群的HA。
-
其他节点要求 其他节点包括NAT Server、SAP HANA Studio。其规划的数据如表16所示。 表16 其他节点规划 节点名称 规格 SAP HANA Studio 操作系统: 说明: 可根据实际需要,选择Windows或Linux的云服务器来部署SAP HANA Studio。 Windows:Windows Server 2012 R2或Windows Server 2008 R2 Linux:SUSE Linux Enterprise Server (SLES) 12 SP2及以上 规格:s1.xlarge (4 vCPUs,16 GB内存) 磁盘:系统盘,高IO,80GB NAT Server 操作系统: SUSE Linux Enterprise Server (SLES) 12 SP2及以上 规格:s1.medium(1 vCPUs,4GB内存)或更大的规格 磁盘:系统盘,高IO,40GB
-
SAP HANA节点要求 在SoH场景下,规格要求如下: 华为云上提供的经SAP官方认证的HANA云服务器规格如表1和表4所示。对于非生产系统,华为云上提供的云服务器如表2和表3所示。 表1 E1型弹性云服务器的规格 分类 pCPUs 内存 (GB) 规格名称 超大内存型 16 470 e1.4xlarge 32 940 e1.8xlarge 表2 E2型弹性云服务器的规格 分类 pCPUs 内存 (GB) 规格名称 超大内存型 12 256 e2.3xlarge 表3 ET2型弹性云服务器的规格 分类 vCPUs 内存 (GB) 规格名称 超大内存型 8 128 et2.2xlarge.16 18 256 et2.4xlarge.14 36 512 et2.8xlarge.14 表4 E3型弹性云服务器的规格 分类 vCPUs 内存 (GB) 规格名称 超大内存型 28 348 e3.7xlarge.12 56 696 e3.14xlarge.12 104 1466 e3.26xlarge.14 208 2932 e3.52xlarge.14 208 4096 e3.52xlarge.20 表5 M6型弹性云服务器的规格 分类 vCPUs 内存 (GB) 规格名称 内存优化型 32 256 m6.8xlarge.8 64 512 m6.16xlarge.8 在BWoH场景下,规格要求如下: 华为云上提供的经SAP官方认证的HANA云服务器规格如表6和表8所示。对于非生产系统,华为云上提供的云服务器如表7所示。 表6 E2型弹性云服务器的规格 分类 vCPUs 内存 (GB) 规格名称 超大内存型 18 445 e2.4xlarge 36 890 e2.9xlarge 表7 ET2型弹性云服务器的规格 分类 vCPUs 内存 (GB) 规格名称 超大内存型 8 128 et2.2xlarge.16 18 256 et2.4xlarge.14 36 512 et2.8xlarge.14 表8 E3型弹性云服务器的规格 分类 vCPUs 内存 (GB) 规格名称 超大内存型 28 348 e3.7xlarge.12 56 696 e3.14xlarge.12 104 1466 e3.26xlarge.14 208 2932 e3.52xlarge.14 208 4096 e3.52xlarge.20 表9 M6型弹性云服务器的规格 分类 vCPUs 内存 (GB) 规格名称 内存优化型 32 256 m6.8xlarge.8 64 512 m6.16xlarge.8 SAP HANA的操作系统和磁盘要求如下: Log卷、Data卷、Shared卷、Backup卷和/usr/sap卷均为SAP HANA要求提供的卷。 共享盘为一种磁盘种类,可以绑定给多台云服务器使用,而非共享盘则为普通磁盘,只能绑定一台云服务器使用。 表10 HANA云服务器操作系统要求(单节点) 场景 规格 操作系统 SUSE Linux Enterprise Server for SAP Applications 12 SP3 SUSE Linux Enterprise Server for SAP Applications 12 SP4 SUSE Linux Enterprise Server for SAP Applications 12 SP5 SUSE Linux Enterprise Server for SAP Applications 15 SUSE Linux Enterprise Server for SAP Applications 15 SP1 表11 E1、E2型服务器磁盘格式要求(单节点) 磁盘 类型 共享方式 大小 OS卷 “超高IO(时延优化)” 非共享盘 - Log卷 “超高IO(时延优化)” 非共享盘 当内存小于或等于512GB时,Log卷的大小为内存的一半,如果数值存在小数位时向上取整。 当内存大于512GB时,Log卷的大小为512GB。 Data卷 “超高IO(时延优化)” 非共享盘 推荐值为内存空间大小的1.2倍或以上 Shared卷 “超高IO(时延优化)” 非共享盘 推荐值为内存空间大小的1.2倍或以上 Backup卷 SFS - 推荐值为内存空间大小的三倍或以上 SBD卷 “超高IO(时延优化)” 共享盘(SCSI接口) 10GB /usr/sap卷 “超高IO(时延优化)” 非共享盘 50GB swap卷 “超高IO(时延优化)” 非共享盘 10GB 表12 ET2型服务器磁盘格式要求(单节点) 磁盘 类型 共享方式 大小 OS卷 “高I/O” 非共享盘 - Log卷 “超高I/O” 非共享盘 请参考表13 Data卷 “超高I/O” 非共享盘 创建EVS卷利用LVM的功能做软分区处理分配Data卷,所需规格请参考表13 Shared卷 “高I/O” 非共享盘 推荐值为内存空间大小的1.2倍或以上 Backup卷 SFS - 推荐值为内存空间大小的三倍或以上 SBD卷 “高I/O” 共享盘(SCSI接口) 10GB /usr/sap卷 “高I/O” 非共享盘 50GB swap卷 “高I/O” 非共享盘 10GB 表13 ET2型服务器推荐的Log和Data卷配置 规格 Log卷大小 Data卷大小 et2.2xlarge.16 100GB 推荐2*200GB的EVS卷 et2.4xlarge.14 200GB 推荐2*250GB的EVS卷 et2.8xlarge.14 512GB 推荐2*400GB的EVS卷 表14 E3型服务器磁盘格式要求(单节点) 磁盘 类型 共享方式 大小 OS卷 “高I/O” 非共享盘 - Log卷 “超高I/O” 非共享盘 请参考表15。 Data卷 “超高I/O” 非共享盘 创建EVS卷利用LVM的功能做软分区处理分配Data卷,所需规格请参考表15。 Shared卷 “高I/O” 非共享盘 推荐值为内存空间大小的1.2倍或以上 Backup卷 SFS - 推荐值为内存空间大小的三倍或以上 SBD卷 “高I/O” 共享盘(SCSI接口) 10GB /usr/sap卷 “高I/O” 非共享盘 100GB swap卷 “高I/O” 非共享盘 10GB 表15 E3型服务器推荐的Log和Data卷配置 规格 Log卷大小 Data卷大小 e3.7xlarge.12 200GB 推荐2*250GB的EVS卷 e3.14xlarge.12 512GB 推荐2*450GB的EVS卷 e3.26xlarge.14 512GB 推荐3*600GB的EVS卷 e3.52xlarge.14 512GB 推荐5*750GB的EVS卷 e3.52xlarge.20 512GB 推荐5*950GB的EVS卷
-
架构与说明 单节点部署无HA(High Available)的方案,如图1所示。 图1 单节点部署(无HA)方案 说明如下: VPC网络:为了保证网络的安全,SAP HANA系统中所有节点在一个VPC网络内,且所有节点应属于同一个AZ(Available Zone)。 公网子网区: NAT(Network Address Translation)服务器:租户对SAP HANA节点的SSH访问需要通过NAT服务器跳转。 SAP HANA Studio服务器。运行SAP HANA Studio软件。租户通过RDP(Remote Desktop Protocol)或SSH协议访问该服务器,对SAP HANA系统进行管理。 私有子网区: SAP HANA节点:用于部署SAP HANA软件。服务器上共有以下磁盘,其中: OS盘:操作系统安装目录。 Data卷:用于定时存储SAP HANA内存数据库传过来的数据。SAP HANA的内存数据库(即高性能内存中运行的数据库)会定时(缺省为5分钟)将数据库中的内容写入Data卷。 Log卷:用于在事件触发的时候存储数据。服务器的内存数据库中完成一次事件触发(例如完成一条或一批记录的刷新),会将数据库中最新的内容写入Log卷。 Shared卷:主要用于存放SAP HANA的安装软件,以及SAP HANA数据库的运行日志文件等。 Backup卷:用于存放SAP HANA数据库的备份文件。 usr/sap卷:用于挂载“/usr/sap”目录。 swap卷:Linux交换空间。
-
架构与说明 单节点部署(HA)部署方案如图1和图2所示。 在单节点部署(HA)场景下,支持手动进行主备节点的切换。也支持通过脚本自动进行主备节点的切换。 图1 单节点同AZ部署(HA)方案 图2 单节点跨AZ部署(HA)方案 各部分的组成说明与单节点部署(无HA)一致,主要差别为:两个位于同一AZ或不同AZ的独立SAP HANA节点,统一接入到SAP HANA Studio上进行管理。两个SAP HANA节点通过System Replication进行数据同步来实现HA功能。
-
公有云上部署SAP HANA的优势 在公有云上部署SAP HANA,能充分利用云服务的优势,扩展方便、使用灵活,在降低购买成本的同时大大提高了部署效率。 降低购买成本:租户可以按需购买所需要的DEV、TST和TRN等场景下的SAP HANA环境,仅在使用时才收费,大大降低采购成本。 提高部署效率:在公有云中购买SAP HANA系统,将部署时间从几天下降到几小时内,大大节约了时间和人力。 扩展方便:在公有云中,可以容易地扩容单节点,也可以容易地从单节点扩展到集群,并且可以扩展到很大规模。 使用灵活:在SAP HANA需要被多个业务系统的DEV、TST和TRN等场景下分时使用时,可以按需购买不同部署形态的SAP HANA系统。
-
云端高可用的优势 许多企业已经在公有云上部署了SAP HANA系统来运行它们的业务,为了保障SAP业务的连续性,SAP解决方案所提供的高可用(HA)和容灾(DR)方案是这些企业选择云上部署的重要因素。除了SAP软件本身提供的高可用机制外,公有云自身的高可用与容灾方案进一步加强了包括SAP在内的许多应用程序的高可用性,云端高可用跟传统高可用相比,有如下的优点: 敏捷性:在云端部署高可用系统,通过成熟的解决方案,能够快速有效的部署系统。但是使用传统的服务器,还需要采购硬件,完成硬件规划,委托可靠性工程师及应用工程师配合搭建高可用系统。 灵活扩展:通过云端的高可用系统,可以根据系统的压力及实施的系统访问情况,进行动态地扩展,以满足系统性能的需求。而传统的高可用系统架构已经固定,不容易实现动态地扩展。 运维:云端高可用系统不需要租户自己维护,在云端由服务提供商维护。传统的高可用需要建立本地的运维团队。 可靠性:云端高可用可以根据租户的需求,部署在不同的地区,以实现跨区域的高可用性,满足系统的安全。 成本:云端高可用相比于传统高可用,省去较多硬件的成本,节约很大的支出。
-
修订记录 修订记录 发布日期 进行了以下变更: 增加了E3型服务器规格。 2018-11-15 进行了以下变更: 支持单节点跨AZ部署:两个位于不同AZ的独立SAP HANA节点,统一接入到SAP HANA Studio上进行管理。两个SAP HANA节点通过System Replication进行数据同步来实现HA功能。 详细信息请参考单节点部署(HA) 2018-08-30 进行了以下变更: 支持SUSE Linux Enterprise Server (SLES) 12 SP2 for SAP 2018-02-12 进行了以下变更: 刷新了部署方案、节点规格。 增加了ET2型服务器规格。 2018-01-10 第一次正式发布。 2017-11-10
-
高可用及灾备相关概念 可用性(Availability) 可用性是衡量系统运行连续性的量度,以时间百分比表示,与停机时间成反比。例如,如果一个给定的系统被设计为99.9%的时间,其每年的停机时间必须小于0.1%,或9小时。 停机时间(Downtime) 停机是中断的结果,可能是有意的(例如系统升级)、非计划故障造成的。故障可能是由于设备故障、软件或网络故障或由于火灾等重大灾害,区域停电或施工事故,可能造成整个数据中心停用。 高可用(High Availability) 高可用性是一套业务技术、工程实践和设计原则。这是通过消除单点故障(容错)和提供能力来实现系统连续性。以最小的业务损失(故障恢复能力)在系统中断后迅速恢复操作。 灾难恢复(Disaster Recovery) 灾难恢复是由于长期数据中心中断后或现场故障恢复操作的过程。灾难的准备工作可能需要更长距离的数据备份,因此可能是更复杂更昂贵。 数据同步模式: SAP HANA System replication有同步(全同步,内存同步,同步)及异步模式,在高可用自动切换场景下,建议采用同步模式,以保证数据切换过程中没有数据丢失(RPO=0)。 全同步: 备系统接收到同步数据并保存到持久层后,备系统将向主系统发送确认信息,主系统提交日志。备系统发生故障无法接受同步数据时,主系统会等待,一直到备机恢复。 同步:备系统接收到同步数据并保存到持久层后,备系统将向主系统发送确认信息,主系统提交日志。备系统发生故障无法接受同步数据时,主系统尝试失败后,会继续当前业务。 内存同步:当备系统接收日志(内存)后,确认消息回复给主系统,主系统提交日志。主系统提交日志。备系统发生故障无法接受同步数据时,主系统尝试失败后,会继续当前业务。 异步:主系统发出同步数据后即提交日志,无须等待备系统的响应。备系统故障不会影响主系统执行业务。 数据预加载模式(Preload): 预加载选项ON: –数据保存在内存。 –快速的切换时间(RTO)。 预加载选项OFF: –内存占用少,用于其他系统资源(如非生产系统)。 –更长的切换时间。 –在计划切换前,运行时可以激活预加载。
-
扩展场景:SAP HANA高可用(System Replication + Preload off + DEV/QAS) 场景 部署SAP HANA高可用后,关闭System Replication中的预加载功能(Preload),此时备机(Secondary)可用于部署非生产系统。 关闭System Replication中的Preload功能,此时备机只需要保留少部分资源(10%)用于接受主机的数据同步,同时可在备机上部署非生产系统。 按照SAP的最佳实践,备机上的非生产系统须挂载额外的存储资源,以避免备机切换后对生产系统的影响。 在系统切换时,需要先关闭备机上的非生产系统,保证备机的资源,之后手工触发切换。 优势 基于公有云的能力,结合SAP HANA高可用机制,充分利用冗余资源,降低整体成本。 生产环境,采用SAP HANA单节点高可用自动切换方案,以降低业务中断时间(RTO),建议关闭云服务器的高可用配置。 部署方案 部署方案如图3所示。 图3 AZ内SAP HANA高可用(System Replication + Preload off + DEV/QAS)
-
概述 本文档主要介绍在公有云上部署SAP高可用及灾备系统的场景及其方案,高可用及灾备系统可避免各种单点故障,极大地提升了SAP系统的可靠性。 请注意,本文档无法代替标准的SAP安装文档,更多的部署方案和公有云技术组件请参考SAP与公有云操作和实现手册。 除了SAP HANA数据库的System Replication的搭建与配置的详细例子,本文档不包含如何配置数据库的高可用性的详细的手册。如实例搭建在SQL Server Mirroring或者Oracle Data Guard等。请参考对应的数据库高可用性安装与配置的手册。 本文档也不会涉及到所有是否在公有云上实现高可用的业务原因和决定标准。 阅读本文档时,我们假定您已经掌握了下述知识或技能: 您已经熟悉SAP系统的基本概念,熟悉SAP应用及SAP HANA数据库的操作、部署及支持的容灾方案。 您已经熟悉华为云ECS、EVS、IMS、SFS、OBS、SDRS、CSBS、VBS等服务。如果您初次接触华为云,请登录华为云帮助中心(https://support.huaweicloud.com/)获取技术细节。 SAP系统管理员知识。 了解Linux操作系统知识。 了解SAP应用及SAP HANA支持的高可用和容灾方案。 不同数据库的高可用性的原理。 SAP HANA数据库管理员知识。 了解公有云的高可用性原理。
-
公有云服务介绍 公有云通常指第三方供应商为用户提供的能够通过Internet使用的云端基础设施和服务,其核心属性是共享资源服务,华为云是华为公有云品牌,在SAP HANA云端高可用场景下我们需要使用以下华为公有云服务。 表1 公有云服务介绍 服务 描述 VPC 虚拟私有云(Virtual Private Cloud)是用户在公有云上申请的隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性IP搭建业务系统 说明: 同一套SAP HANA系统通常部署在同一个VPC内。 IMS 镜像服务 (Image Management Service)提供完善的镜像管理能力,用户可以从丰富的市场镜像库中选择镜像,从而快速创建或批量复制弹性云服务器 说明: 目前公有云支持的SAP镜像包括: SUSE Linux Enterprise Server (SLES) 12 SP3 for SAP SUSE Linux Enterprise Server (SLES) 12 SP4 for SAP SUSE Linux Enterprise Server (SLES) 12 SP5 for SAP SUSE Linux Enterprise Server (SLES) 15 SP1 for SAP ECS 弹性云服务器(Elastic Cloud Server)是一种可随时自助获取、可弹性伸缩的云服务器,帮助用户打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率 说明: 公有云提供支持SAP HANA运行的HANA云服务器。更多信息,可参见SAP HANA的用户指南。 EVS 云硬盘(Elastic Volume Service)是一种为ECS、BMS等计算服务提供持久性块存储的服务,通过数据冗余和缓存加速等多项技术,提供高可用性和持久性,以及稳定的低时延性能。您可以对云硬盘做格式化、创建文件系统等操作,并对数据做持久化存储 说明: 针对SAP HANA场景,EVS的具体规格要求可参见SAP HANA的用户指南。 SFS(可选) 弹性文件服务(Scalable File Service)为用户的弹性云服务器(ECS)提供一个完全托管的共享文件存储,符合标准文件协议(NFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。 说明: Share卷,Backup卷可使用SFS服务,具体规格要求可参见SAP HANA的用户指南。 VBS 云硬盘备份(Volume Backup Service)为云硬盘创建在线备份,无需关机/重启。针对病毒入侵、人为误删除、软硬件故障等场景,可将数据恢复到任意备份点 OBS 稳定、安全、高效、易用的 云存储 服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据,提供99.999999999%的数据可靠性。
-
AZ内SAP HANA高可用 场景 公有云支持SAP HANA高可用,在同一可用区内,通过部署SAP HANA冗余节点,并配置SAP HANA自带的System Replication功能,配置Suse HAE可以实现高可用自动切换。该场景一般应用于SAP HANA单节点部署。 通过SAP HANA软件提供的System Repication功能实现数据复制功能。 打开System Replication中的Preload功能,数据预加载到备机内存以减少切换时间,降低RTO。 通过配置SUSE HAE(High-Availability Extension)实现系统高可用自动切换。公有云提供自动化配置HAE脚本,具体请参考《SAP HANA用户指南(单节点)》。 系统会自动监控主系统健康状态(SAP HANA进程,操作系统,数据复制),当主系统发生故障,自动触发切换及虚拟IP的漂移,实现HANA系统高可用。 优势 基于公有云的能力,结合SAP HANA高可用机制及Suse HAE机制,完成高可用解决方案,为客户核心业务提供可靠保障。 生产环境,建议采用HANA高可用自动切换方案,以降低业务中断时间(RTO),需关闭弹性云服务器的自动恢复功能。 部署方案 部署方案如图1所示。 图1 AZ内SAP HANA高可用
-
跨AZ SAP HANA高可用 场景 在不同的可用区内部署SAP HANA冗余节点。 通过SAP HANA软件提供的System Repication功能实现数据复制功能。 打开System Replication中的Preload功能,数据预加载到备机内存以减少切换时间,降低RTO。 通过配置SUSE HAE(High-Availability Extension)实现系统高可用自动切换。公有云提供自动化配置HAE脚本,具体请参考《SAP HANA用户指南(单节点)》。 HA系统会自动监控主AZ健康状态(SAP HANA进程,操作系统,数据复制),当主AZ发生故障,自动触发切换及虚拟IP的漂移,实现HANA系统高可用。 优势 基于公有云的能力,结合SAP HANA高可用机制及Suse HAE机制,完成跨AZ高可用解决方案,为客户核心业务提供可靠保障。 部署方案 部署方案如图2所示。 图2 跨AZ部署SAP HANA高可用
-
系统复制(HANA System Replication) SAP HANA系统复制(HANA System Replication,简称HSR)是SAP HANA提供的高可用和容灾解决方案,此方案需要创建备份系统(Secondary System),它会持续地从主系统(Primary System)同步数据和事务日志,一旦主系统出现灾难性的故障,我们就可以启用备份系统来代替主系统。此外,根据您对于恢复时间目标(RTO)和数据库的恢复点目标(RPO)的不同要求,HSR允许您有完全多种不同的设置,更多详细信息请参见SAP的官方文档 How to Perform System Replication for SAP HANA。
-
场景2:应用一致性备份创建整机镜像恢复 场景 在同一个可用区(AZ)内部署SAP HANA,创建应用一致性备份,通过备份创建整机镜像,再使用整机镜像发放新的弹性云服务器,修改弹性云服务器的IP地址,重启HANA云服务器完成备份恢复。该场景一般应用于SAP HANA单节点部署。 部署方案 同AZ部署SAP HANA,应用一致性创建整机镜像恢复的部署方案如图4所示。 图4 应用一致性备份创建整机镜像恢复
-
场景3:应用一致性备份跨Region复制后创建整机镜像恢复 场景 在同一个可用区部署SAP HANA,创建应用一致性备份,跨区域(Region)复制备份并通过备份创建整机镜像,再使用整机镜像发放新的弹性云服务器,修改弹性云服务器IP地址,重启HANA云服务器完成备份恢复。该场景一般应用于SAP HANA单节点部署。 部署方案 同AZ部署SAP HANA,应用一致性备份跨区域复制后创建整机镜像恢复的部署方案如图5所示。 图5 应用一致性备份跨Region复制后创建整机镜像恢复
-
SAP HANA备份与恢复 虽然SAP HANA是内存数据库,但所有数据的修改都会被保存在持久存储系统中,因此即使遇到例如突然的停电导致停机,SAP HANA也能够恢复数据并确保数据不丢失。此外,为了在灾难发生后能够恢复数据,我们还必须定期将持久存储系统中的数据和数据库日志备份到远端,例如OBS桶中。关于SAP HANA数据库更多的备份和恢复细节,请参见SAP官方文档 Backup and Recovery - SAP HANA。
共99496条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
推荐文章