华为云用户手册
-
步骤3:开启写转发 正常情况下,RegionlessDB集群创建完成后,主实例接收并处理读写请求,从实例只接收读请求。当开启写转发功能后,从实例接收到写请求会自动由从实例转发到主实例进行处理。主实例完成写入后,将数据同步到其他所有从实例。使用写转发可以简化写数据流程,直接通过从实例IP接入数据库服务执行读写操作,并且在满足一致性的同时,不影响就近读能力。 写转发只有在从实例的事务隔离级别为RR的场景下才支持。 当前版本从实例进行写转发时,暂不支持显示WARNING和RECORD信息。 当前版本从实例进行写转发时,暂不支持中断执行中的SQL请求。 写转发会创建用户“_@gdb_WriteForward@_”,请不要修改或者删除该用户,否则写转发功能无法正常运行。 支持的写转发命令如下: SQLCOM_UPDATE SQLCOM_INSERT SQLCOM_DELETE SQLCOM_INSERT_SELECT SQLCOM_REPLACE SQLCOM_REPLACE_SELECT SQLCOM_DELETE_MULTI SQLCOM_UPDATE_MULTI SQLCOM_ROLLBACK 如果执行了不支持的写转发命令,会出现如下报错信息: ERROR xxx (yyy): This version of MySQL doesn't yet support 'operation with write forwarding'. 其中“operation”为具体不支持的操作类型。 不支持的场景: SELECT FOR UPDATE语句。 EXPLAIN写转发语句。 写转发的语句包含SET VARIABLE。 在写转发开启的场景下,不支持SAVEPOINT。 XA事务中不支持写转发。 当前不支持START TRANSACTION READ WRITE,可以直接使用START TRANSACTION进行测试写转发。 存储过程中不支持写转发。 写转发开启时,不支持创建临时表,如果需要创建临时表,可以暂时关闭写转发进行创建。 针对会隐式提交的命令,在不支持写转发的情况下,也会自动提交当前节点和主节点对应的事务。 针对全局一致性级别,每个事务第一次访问数据之前,需要使用会话池中的连接,从主节点获取数据点位(LSN),如果没有可以使用的会话,可能会导致读取数据的命令失败。 如果用户使用写转发的会话出现连接错误,并且用户处于多语句事务中,服务端会主动关闭与客户端和主节点的连接,保证客户端能够感知到对应的错误。 主从实例的版本需要保持为最新版本。 由于写转发是转发到主节点上执行,如果只读节点有相同数据库下的同名临时表,最终以主节点的数据为准。 从实例如果参与了区域切换或者故障转移,写转发相关参数(“rds_open_write_forwarding”和“rds_write_forward_read_consistency”)会恢复为默认值。 在“RegionlessDB”页面,找到目标RegionlessDB集群。 单击操作列“设置写转发”,创建写转发账号。 图5 创建写转发账号 系统会为您自动创建一个内部账号(_@gdb_WriteForward@_)用于支持写转发,便于写请求转发到主实例进行处理。设置写转发账号后请不要自行修改或删除内部账号,否则会影响写转发功能。 在“设置写转发”弹框中,确认信息并单击“确定”。 图6 设置写转发 在“实例管理”页面,选择指定的RegionlessDB从实例,单击实例名称。 在左侧导航栏,选择“参数修改”。 在参数页面右上角搜索“rds_open_write_forwarding”,将该值修改为“ON”。 图7 开启写转发 单击左上角“保存”,开启写转发功能。 在参数页面右上角搜索“rds_write_forward_read_consistency”,修改写转发读一致性级别。 图8 修改写转发读一致性级别 可通过修改参数设置写转发的读一致性范围,具体选项说明详见表3。 表3 参数说明 参数名称 说明 NONE 不启用写转发。 EVENTUAL 在主实例真正执行写操作之前,写入数据是不可见的。查询不会等待RegionLess内主从实例数据同步完成,所以在该级别下,可能读取到未更新的过期数据。 SESSION 通过开启写转发的从实例执行的所有查询,都会看到在本会话中进行的所有数据写入的结果。查询将等待复制中的写转发执行的结果。 GLOBAL 会话可以看到RegionlessDB中所有会话和实例上全部已提交的更改,查询可能会等待一定时间,该等待时间和复制延迟相关。 如果业务有读一致性要求,建议一致性级别配置为SESSION。谨慎设置成GLOBAL,GLOBAL会导致所有的读请求花费较大的额外代价,例如使用任一客户端连接TaurusDB,且使用GLOBAL级别时,导致进入MySQL命令行的时间变长。 事务中无法修改写转发读一致性级别为SESSION。 开启写转发参数前,需要确保从实例的事务隔离级别为RR。 写转发开启的情况下,不允许修改当前会话的事务隔离级别。 事务中不允许修改读一致性级别。 单击左上角“保存”。
-
步骤2:添加从实例 在“RegionlessDB”页面,找到目标RegionlessDB。 单击操作列“添加从实例”。 图4 添加从实例 在“创建从实例”页面,设置相关参数。 表2 基本信息 参数 描述 区域 从实例所在区域。 须知: 不同区域内的产品内网不互通,且购买后不能更换,请谨慎选择。 创建方式 选择“新创建”。 实例名称 名称长度在4个到64个字符之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他特殊字符。 数据库引擎 TaurusDB。 兼容的数据库版本 MySQL 8.0。 内核版本 从实例的内核版本,内核版本需要大于等于2.0.46.231000。 关于各个内核小版本的更新说明请参见内核版本发布说明。 说明: 如需设置内核版本,请联系客服人员申请权限。 实例类型 仅支持集群:RegionlessDB集群版包含最少2个最多10个只读节点。 存储类型 共享存储。 可用区类型 可用区指在同一区域下,电力、网络隔离的物理区域,可用区之间内网互通,不同可用区之间物理隔离。有的区域支持单可用区和多可用区,有的区域只支持单可用区。 单可用区:主节点和只读节点部署在同一个可用区。 多可用区:您选择主可用区,创建的只读节点会均匀分布在各可用区之间,保证高可靠性。 时区 由于世界各国家与地区经度不同,地方时也有所不同,因此会划分为不同的时区。时区可在创建实例时选择,后期不可修改。 性能规格 TaurusDB支持的性能规格,请参见数据库实例规格。 TaurusDB是基于共享存储架构的云原生数据库。为了保证实例在极高读写压力场景下的业务稳定,会根据规格对实例读写峰值进行智能平滑控制,将实例读写能力稳定在一个较高水平,请您参照性能白皮书,选择合适的性能规格。 CPU架构 实例的CPU和内存,CPU架构分为X86和鲲鹏。 节点数量 从实例所有节点均为只读节点,“按需计费”实例单次创建最多可批量申请10个只读节点。 实例创建成功后,您可根据业务需要,添加只读节点,一个从实例最多可以创建15个只读节点。详情请参见创建只读节点。 存储设置 无需选择存储容量,存储费用按照实际使用量每小时计费。 虚拟私有云 TaurusDB数据库实例所在的 虚拟专用网络 ,可以对不同业务进行网络隔离。您需要创建或选择所需的虚拟私有云。如何创建虚拟私有云,请参见《虚拟私有云用户指南》中的“创建虚拟私有云基本信息及子网”。 如果没有可选的虚拟私有云,TaurusDB数据库服务默认为您分配资源。 须知: 请确保从实例选择的虚拟私有云和主实例选择的虚拟私有云已通过VPN连通。 目前TaurusDB实例创建完成后不支持切换虚拟私有云,请谨慎选择所属虚拟私有云。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全性。 创建实例时TaurusDB会自动为您配置读写内网地址,您也可输入子网号段内未使用的读写内网地址。 内网安全组 内网安全组限制实例的安全访问规则,加强TaurusDB数据库服务与其他服务间的安全访问。请确保所选取的内网安全组允许客户端访问数据库实例。 如果不创建内网安全组或没有可选的内网安全组,TaurusDB数据库服务默认为您分配内网安全组资源。 说明: 为了保证后续数据库的连接和访问,选择内网安全组时,需在安全组的入方向放开3306端口和ICMP协议。 请确保主从实例之间的内网安全组规则是放开的。 参数模板 数据库参数就像是数据库引擎配置值的容器,参数模板中的参数可应用于一个或多个相同类型的数据库实例。实例创建成功后,参数模板可进行修改。 须知: 创建数据库实例时,为确保数据库实例正常创建,自定义参数模板中相关规格参数如下不会下发,而是采用系统默认的推荐值。 “innodb_buffer_pool_size” “innodb_log_buffer_size” “max_connections” “innodb_buffer_pool_instances” “innodb_page_cleaners” “innodb_parallel_read_threads” “innodb_read_io_threads” “innodb_write_io_threads” “threadpool_size” 您可以在实例创建完成之后根据业务需要进行调整。具体请参见编辑参数模板。 企业项目 该参数针对企业用户使用,如需使用该功能,请联系客服申请开通。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 请在下拉框中选择所在的企业项目,其中,default为默认项目。 如果需要自定义企业项目,请在控制台右上角单击“企业”,进入“企业项目”页面创建,具体请参见《企业管理用户指南》中“创建企业项目”的内容。 标签 可选配置,对关系型数据库的标识。使用标签可以方便识别和管理您拥有的数据库服务资源。每个实例最多支持20个标签配额。 实例创建成功后,您可以单击实例名称,在标签页签下查看对应标签。关于标签的详细操作,请参见标签。 实例密码及大小写敏感与主实例一致,无需单独设置。 参数配置完成后,单击页面右下角“立即购买”。 确认从实例信息无误后,单击页面右下角“提交”,完成创建从实例的申请。 从实例创建成功后,可以在“实例管理”页面对其进行查看和管理。 创建从实例过程中,状态显示为“创建中”。您可以通过“任务中心”查看详细进度和结果。创建完成的实例状态为“正常”,此时,从实例才可以正常使用。 如果主实例的存量数据较多,由于添加从实例需要对新创建的从实例进行全量备份恢复,该流程耗时可能会较长。
-
转商公告 华为云于2024/01/19 00:00(北京时间)对云数据库TaurusDB的Serverless实例进行商用。 Serverless实例为您提供针对业务变化,灵活弹性伸缩能力,降低您的使用成本。服务商用后,将进行收费,详情请参见Serverless计费说明。 华为云在此提醒您,如果不再使用Serverless实例,请于2024/01/19 00:00(北京时间)前登录华为云控制台,及时删除Serverless实例,避免产生费用。
-
各版本生命周期 表1 云数据库TaurusDB各版本生命周期 TaurusDB版本号 当前状态 兼容社区版本 社区发布时间 华为云商用时间 版本EOM(停止销售)时间 版本EOS(停止服务)时间 2.0.60 已商用 8.0.22 2020年10月 2024年10月 2025年1月 2027年10月 2.0.54 已商用 8.0.22 2020年10月 2024年7月 2024年10月 2027年7月 2.0.51 已商用 8.0.22 2020年10月 2024年4月 2024年7月 2027年4月 2.0.48 已商用 8.0.22 2020年10月 2024年1月 2024年4月 2027年1月 2.0.45 已商用 8.0.22 2020年10月 2023年11月 2024年1月 2026年11月 2.0.42 已商用 8.0.22 2020年10月 2023年9月 2023年11月 2026年9月 2.0.39 已商用 8.0.22 2020年10月 2023年6月 2023年9月 2026年6月 2.0.31 已商用 8.0.22 2020年10月 2022年9月 2023年6月 2025年9月 2.0.29 已商用 8.0.22 2020年10月 2022年7月 2022年9月 2025年7月 2.0.28 已商用 8.0.22 2020年10月 2022年6月 2023年6月 2025年6月 2.0.26 已商用 8.0.22 2020年10月 2022年4月 2022年6月 2025年4月 2.0.17 已商用 8.0.22 2020年10月 2022年2月 2022年4月 2025年2月 2.0.15 已商用 8.0.22 2020年10月 2021年11月 2022年2月 2024年11月 2.0.13 已商用 8.0.18 2019年10月 2021年9月 2021年11月 2024年9月 2.0.12 已商用 8.0.18 2019年10月 2021年6月 2021年9月 2024年6月 2.0.11 已商用 8.0.18 2019年10月 2020年12月 2021年6月 2023年12月 2.0.8 已商用 8.0.18 2019年10月 2020年9月 2020年12月 2023年9月 华为云商用阶段: TaurusDB商用版本经过充分验证,稳定可靠。您可以将该版本用于生产环境,享受TaurusDB服务SLA保障。 版本EOM(停止销售)阶段: TaurusDB版本EOM之后,将停止该版本的销售,即不再支持创建该版本实例。 版本EOS(停止服务)阶段: TaurusDB版本EOS之后, TaurusDB将不再支持创建该版本实例,同时对存量该版本实例不提供相应的技术支持,包含新特性更新、漏洞/问题修复、补丁升级以及工单指导、在线排查等客户支持,不再适用于TaurusDB服务SLA保障。
-
e_output、e_coutput 输出日志到指定的r日志流中,并可配置输出时tag信息。 函数格式 e_output(logsteam, tags=None) e_coutput(logstream, tags=None) 预览时不会输出日志到目标日志流中,而是输出到页面,供您调试。 参数说明 参数名称 参数类型 是否必填 说明 logstream String 否 需要输出日志流的代称,日志流代称在创建加工任务时配置目标日志流时指定。 tags Dict 否 为日志设置新的标签,以字典格式传入。 加工结果 e_output:输出日志到指定的日志流中,且对应的日志不再执行后面的加工规则。 e_coutput:输出日志到指定的日志流中,且对应的日志继续执行后面的加工规则。 函数示例 示例1:将k2满足正则表达式,输出到target2中。 测试数据 { "k1": "v1", "k2":"v2", "x1":"v3" , "x5": "v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数,则被过滤的数据被投递到默认的存储目标中。创建任务时配置的第一条目标日志流为默认目标。 e_if(e_match("k2", r"\w+"), e_output("target2")) e_drop() 加工结果 { "k1": "v1", "k2": "v2", "x1": "v3", "x5": "v4" } 在结果预览处可以看到目标日志流代称变成了target2。 示例2:将k2满足正则表达式,输出到target2中,并设置tag。 测试数据 { "k1": "v1", "k2":"v2", "x1":"v3" , "x5": "v4" } 加工规则 e_if(e_match("k2", r"\w+"), e_output("target2", tags={"topic": "topic1"})) e_drop() 加工结果 { "k1": "v1", "__tag__": { "topic": "topic1" }, "k2": "v2", "x1": "v3", "x5": "v4" } 在结果预览处可以看到目标日志流代称变成了target2。 更多参考 支持和其他函数组合使用。
-
e_split 基于日志字段的值分裂出多条日志,并且支持通过JMES提取字段后再进行分裂。 函数格式 e_split(字段名, sep=',', quote='"', lstrip=true, jmes=None, output=None) 分裂规则: 如果配置了jmes参数,则将日志字段的值转化为JSON列表,并使用JMES提取值作为下一步的值。如果没有配置jmes参数,则将字段的值直接作为下一步的值。 如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将上一步的值进行 CS V解析,根据解析后的多个值进行分裂并结束处理。 参数说明 参数名称 参数类型 是否必填 说明 字段名 String 是 需要分裂的字段名。 sep String 否 用于分隔多个值的分隔符。 quote String 否 用于引用多个值的配对类字符的引用符。 lstrip String 否 是否将值左边的空格去掉,默认为true。 jmes String 否 将字段值转化为JSON对象,并使用JMES提取特定值,再进行分裂操作。 output String 否 设置一个新的字段名,默认覆盖旧字段名。 返回结果 返回日志列表,列表中字段的值都是源列表中的值。 函数示例 测试数据 { "__topic__": "", "age": 18, "content": 123, "name": "maki" } 加工规则 e_set("__topic__", "V_SENT,V_RECV,A_SENT,A_RECV") e_split("__topic__") 加工结果 [ { "__topic__": "V_SENT", "name": "maki", "age": 18, "content": 123 }, { "__topic__": "V_RECV", "name": "maki", "age": 18, "content": 123 }, { "__topic__": "A_SENT", "name": "maki", "age": 18, "content": 123 }, { "__topic__": "A_RECV", "name": "maki", "age": 18, "content": 123 } ] 更多参考 支持和其他函数组合使用。
-
e_drop 根据条件判断是否丢弃日志。 函数格式 e_drop(condition=true) 支持固定标识DROP,等价于e_drop()。 参数说明 参数名称 参数类型 是否必填 说明 condition Bool 否 默认为true,一般传递一个条件判断函数的结果。 返回结果 满足条件则丢弃日志并返回None,否则返回原日志。 函数示例 示例1:当__programe__字段的值为access时丢弃日志,否则保留该日志。 测试数据 [ { "__programe__": "access", "age": 18, "content": 123, "name": "maki" }, { "__programe__": "error", "age": 18, "content": 123, "name": "maki" } ] 加工规则 e_if(e_search("__programe__==access"), DROP) 加工结果 丢弃__programe__字段值为access的日志,保留__programe__字段的值为error的日志。 __programe__: error age: 18 content: 123 name: maki 示例2:条件判断结果为true,丢弃日志。 测试数据 { "k1":"v1" , "k2": "v2", "k3": "k1" } 加工规则 e_drop(e_search("k1==v1")) 加工结果 因为k1==v1条件为true,因此丢弃该日志。 示例3:条件判断结果为false,保留日志。 测试数据 { "k1":"v1" , "k2": "v2", "k3": "k1" } 加工规则 e_drop(e_search("not k1==v1")) 加工结果 k1: v1 k2: v2 k3: k1 示例4:不设置判断条件时,使用默认值true,丢弃日志。 测试数据 { "k1":"v1" , "k2": "v2", "k3": "k1" } 加工规则 e_drop() 加工结果 丢弃日志。 更多参考 支持和其他函数组合使用。
-
函数列表 类型 函数 说明 事件操作 e_drop 根据条件判断是否丢弃日志。支持和其他函数组合使用。 e_keep 根据条件判断是否保留日志。 e_keep函数和e_drop函数都会丢弃日志。e_keep函数在不满足条件时丢弃,而e_drop函数则是在满足条件时丢弃。 # 以下4个加工规则等价 e_if_else(e_search("f1==v1"), e_keep(), e_drop()) e_if_else(e_search("not f1==v1"), e_drop()) e_keep(e_search("f1==v1")) e_drop(e_search("not f1==v1")) # 以下加工规则无意义 e_if(e_search("..."), e_keep()) e_keep() 支持和其他函数组合使用。 事件分裂 e_split 基于日志字段的值分裂出多条日志,并且支持通过JMES提取字段后再进行分裂。支持和其他函数组合使用。 输出事件 e_output、e_coutput 输出日志到指定的日志流代称中(日志流代称在创建加工任务时配置目标日志流时指定),并可配置输出时的tag信息。 e_output:执行到e_output函数时,输出日志到指定的日志流中,且对应的日志不再执行后面的加工规则。 e_coutput:执行到e_coutput函数时,输出日志到指定的日志流中,且对应的日志继续执行后面的加工规则。 支持和其他函数组合使用。
-
e_keep 据条件判断是否保留日志。 函数格式 e_keep(condition=true) 支持固定标识KEEP,等价于e_keep()。 参数说明 参数名称 参数类型 是否必填 说明 condition Bool 否 默认为true,一般传递一个条件判断函数的结果。 返回结果 满足条件则返回原日志,不满足时丢弃日志。 函数示例 示例1:当__programe__字段的值是access的时候保留日志,否则丢弃日志。 测试数据 [ { "__programe__": "access" , "age": 18, "content": 123, "name": "maki" }, { "__programe__": "error" , "age": 18, "content": 123, "name": "maki" } ] 加工规则 e_keep(e_search("__programe__==access")) #等价于 e_if(e_search("not __programe__==access"), e_drop()) #等价于 e_if_else(e_search("__programe__==access"), e_keep(), e_drop()) 加工结果 保留__programe__字段值为access的日志。 __programe__: access age: 18 content: 123 name: maki 示例2:条件判断结果为true,保留日志。 测试数据 { "k1":"v1" , "k2": "v2", "k3": "k1" } 加工规则 e_keep(e_search("k1==v1")) 加工结果 k1: v1 k2: v2 k3: k1 示例3:条件判断结果为false,丢弃日志。 测试数据 { "k1":"v1" , "k2": "v2", "k3": "k1" } 加工规则 e_keep(e_search("not k1==v1")) 加工结果:丢弃日志。 示例4:判断条件为false。 测试数据 { "k1":"v1" , "k2": "v2", "k3": "k1" } 加工规则 e_keep(false) 加工结果:丢弃日志。 更多参考 支持和其他函数组合使用。
-
跨流搜索(白名单功能) 目前此功能仅支持白名单用户使用,如有需要请提交工单申请开通。 在当前日志流详情页面,支持跨流搜索日志,即无需退出当前日志搜索页面,即可选择其他日志流搜索日志。 在当前日志流详情页面,单击。 在弹出的跨流搜索页面,选择需要搜索的目标日志流。 单击“确定”。 进入目标日志流详情页,根据业务需要参考LTS搜索语法介绍进行搜索日志。 若需要更换日志流,单击左上角跨流搜索旁边,在弹出的页面重新选择日志流进行搜索。 搜索完成后,单击右上角的“退出跨流搜索”,即可返回当前日志流搜索页面。 当跨流搜索的日志流的分词配置不同时,会导致跨流日志关键词高亮不一致。 最多可同时搜索50个日志流。 仅支持搜索原始日志,暂不支持使用SQL进行统计分析。 支持跨日志组选择日志流,但不支持跨区域选择日志流。 跨流搜索选择多个索引配置不一致的日志流,例如A日志流配置了字段索引Key1,B日志流没有配置该字段,使用搜索语句Key1:xxx搜索日志时,仅能查看A日志流的相关日志,B日志流搜索日志失败,请根据界面报错提示修改后再重新搜索日志。
-
交互模式 使用交互模式之前,请确保日志正常上报,且已经完成结构化分析和索引配置,详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 交互式搜索适用于生成简单的搜索语句,操作简单,通过在界面上设置搜索条件和指定日志查询时的过滤规则,从而筛选日志中满足条件的记录。如果您需要使用更多的函数或者嵌套查询,请手动输入SQL语句。详细请参考SQL分析语法介绍。 单击搜索框前面的“交互模式”,进入交互式搜索页面。 图1 交互模式 在下拉框选择日志搜索的字段和条件,搜索框则会展示对应字段的值。根据业务需要,用户可以自定义设置搜索方式,添加关联关系或添加组进行搜索。 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。 且(AND)表示在多个条件中需要同时满足所有条件才能成立。 或(OR)表示在多个条件中只需满足其中一个条件即可。 例如在界面上选择content、collectTime、category字段,设置不同的条件,随时可以预览搜索语句,如有问题,可以修改搜索条件,操作简单。 (截图仅供参考,请以实际搜索结果为准) (content:"{\"write_traffic\":11,\"index_traffic\":133,\"storage\":17107}" AND collectTime=1728631667089) OR category:LTS 设置完成后,单击“确定”,LTS根据搜索语句进行日志搜索,在日志搜索下方即可查看搜索结果。(截图仅供参考,请以实际搜索结果为准)
-
日志搜索的常用操作 在日志内容展示区域,支持分享日志、查看上下文、下载日志等操作,具体参考表1。 表1 常用操作 操作 说明 创建快速查询 单击按钮,创建快速查询。 查看仪表盘 单击按钮,在弹出来的仪表盘页面中,可查看已创建的仪表盘。 添加告警 单击按钮,在弹出的页面中,支持新建告警规则。 分享日志 单击复制当前日志搜索页面的链接,用于分享搜索日志。 刷新日志 单击对日志进行刷新,有两种方式刷新方式:手动刷新和自动刷新。 手动刷新:单击“手动刷新”,可直接对日志进行刷新。 自动刷新:选择自动刷新的间隔时间,将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 复制 单击复制日志内容。 查看上下文 单击查看日志上下文。 说明: 支持选择简洁模式查看日志上下文。支持下载上下文内容。 更多操作 单击进入该时间段的日志详情页,查看更多日志信息。 在“扩展字段”页签,查看字段名称、字段值,在对应字段操作列,支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。 在“json格式”页签,查看日志的json格式。 在“上下文日志”页签,支持设置查询行数、过滤字段、下载日志、简洁模式等操作。 在“链路”页签,查看该日志的链路信息。 换行/取消换行 单击按钮,搜索的日志内容将换行显示。若不需要换行,单击按钮,取消换行。 说明: 默认开启换行按钮。 下载日志 该功能仅支持白名单用户使用,如有需要,请提交工单申请开通。 鼠标悬浮在按钮上,单击“下载日志”,在弹出的下载日志页面中支持“本地下载”和“前往创建转储”。开通一次性转储后才能看到“前往创建转储”功能。 本地下载:将日志文件直接下载到本地,白名单用户单次下载支持最大2000万条日志。非白名单用户单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 前往创建转储(白名单功能):通过OBS转储任务下载日志文件,单次下载支持最大2,000万条日志。单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储至OBS。 鼠标悬浮在按钮上,单击“日志下载历史”,在日志下载历史页面,支持查看、下载、删除日志下载记录。 全部折叠/全部展开 单击设置日志内容展示的行数。若不需要展示日志内容,再单击一次按钮即可关闭展示的日志内容。 说明: 默认不折叠。折叠后,默认显示2行,最多支持展示6行。 JSON设置 鼠标悬浮在按钮上,单击“JSON设置”,在弹出的JSON设置页面中,设置格式化显示。 说明: 默认开启格式化,JSON默认展开层级为2层。若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 日志折叠设置 鼠标悬浮在按钮上,单击“日志折叠设置”,在弹出的日志折叠设置页面中,设置长日志字符个数。 日志超过设置的长日志字符个数时,超出字符将被隐藏,单击“展开”按钮可查看全部内容。 说明: 默认开启自动折叠长日志,字符个数默认为400个。 日志时间展示 鼠标悬浮在按钮上,单击“日志时间展示”,在弹出的日志折叠设置页面中,设置是否展示毫秒、是否展示时区。 说明: 默认开启展示毫秒。 虚拟滚动设置 鼠标悬浮在按钮上,单击“虚拟滚动设置”,在弹出的虚拟滚动设置页面中,设置是否开启虚拟滚动、填写缓冲区大小。 说明: 虚拟滚动可以避免或减少滚动时卡顿的情况,提升操作体验,防止页面卡死。 滚动时数据会重新渲染,一定程度上影响数据流畅性。 缓冲区决定同时加载的数据量大小,缓冲区越大,同时加载的数据越多,但滚动性能会越差。 不可见字段列表 该列表展示版面设置中配置的不可见性字段。 当日志流未配置版面设置时,将不显示按钮。 当日志内容为“CONFIG_FILE”且未配置版面设置时,不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。
-
搜索日志 登录 云日志 服务控制台,进入“日志管理”页面。 在“日志管理”页面,单击目标日志组或日志流名称,进入日志详情页面。 您可以根据自己的实际需求,在搜索框上方选择时间范围,即可查看不同时间段的日志数据。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。支持选择3个月的范围,白名单用户支持选择6个月的范围。如有需要,请提交工单申请。 根据LTS搜索语法介绍在搜索框输入查询条件,用于日志数据的查看、简单搜索和过滤。 在页面搜索区域中,单击搜索框,输入待搜索的关键字,或在弹出的下拉框中选择待搜索的字段和关键词,单击“查询”,开始搜索。 内置保留字段有appName、category、clusterId、clusterName、collectTime等,默认简化显示,并且hostIP、hostName、pathFile默认显示在最前面。更多内置保留字段请参考设置LTS日志索引配置。 结构化配置的字段按照key:value显示。 日志搜索框内容过多时支持自动换行并多行显示。 支持固定搜索框高度。 在页面搜索区域,使用键盘的"↑""↓"箭头,选择待搜索的关键字或搜索语法,单击Tab键或Enter键选中后,单击“查询”,开始搜索。 对已创建快速分析的字段,单击选择字段可直接将其添加到页面搜索框中,进行搜索。请参考创建LTS快速分析开启快速分析。 通过单击字段添加到搜索框中,如果是同一字段,则将直接替换该方式添加的字段,不会进行AND搜索;如果是不同字段,则对不同字段进行AND搜索。 在“日志搜索”页签,您可以进行如下操作,更多操作请参考日志搜索的常用操作。 在日志统计下方,展示不同时间段的日志总条数柱状图,柱状图旁边显示日志条数刻度。 若使用了内嵌功能,支持设置收起或展开式日志条数统计图。关于内嵌参数请参考云日志服务地址。 在日志内容下方,鼠标悬浮指向日志内容中的字段,单击蓝色字体的日志内容,支持以下方式搜索日志:复制、添加到查询、从查询中排除、添加到查询(交互模式)、从查询中排除(交互模式)、新建查询、隐藏。 在日志内容下方,单击时间前面的展开图标,支持以Table和JSON形式展示结构化字段。 在Table页签,支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。更多信息请参考LTS搜索语法介绍。 在JSON页签,支持查看或者复制日志内容。 在日志内容下方,支持选择列表或原始日志方式展示日志内容。 日志高亮的实现原理是当查询条件命中日志后,再将日志与查询条件进行字符串匹配,相同日志部分增加高亮标签,该部分会在界面高亮展示。因此当查询条件比较复杂,尤其是存在或关系时,在界面高亮显示的内容可能会比实际查询结果显示的多。 支持设置日志数据的版面展示,主要设置字段是否显示或简化显示。 在下拉框单击编辑版面,进入版面设置页面,版面列表自带默认版面、纯净版面、容器日志默认版面,可以设置字段在版面是否显示。 云端:适用于有写权限的用户,版面配置信息保存在云端。 本地缓存:适用于只有读权限的用户,版面配置信息缓存在本地浏览器。 单击新增自定义版面,设置版面名称和版面字段的可见性。 设置完成后,单击“确定”,返回下拉框显示新增的自定义版面。
-
日志搜索的常用操作 日志搜索的常用操作有分享日志、刷新等操作,具体参考表1。 表1 常用操作 操作 说明 创建快速查询 单击按钮,创建快速查询。 查看仪表盘 单击按钮,在弹出来的仪表盘页面中,可查看已创建的仪表盘。 添加告警 单击按钮,在弹出的页面中,支持新建告警规则。 分享日志 单击复制当前日志搜索页面的链接,用于分享搜索日志。 刷新日志 单击对日志进行刷新,有两种方式刷新方式:手动刷新和自动刷新。 手动刷新:单击“手动刷新”,可直接对日志进行刷新。 自动刷新:选择自动刷新的间隔时间,将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 复制 单击复制日志内容。 查看上下文 单击查看日志上下文。 说明: 支持选择简洁模式查看日志上下文。支持下载上下文内容。 更多操作 单击进入该时间段的日志详情页,查看更多日志信息。 在“扩展字段”页签,查看字段名称、字段值,在对应字段操作列,支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。 在“json格式”页签,查看日志的json格式。 在“上下文日志”页签,支持设置查询行数、过滤字段、下载日志、简洁模式等操作。 在“链路”页签,查看该日志的链路信息。 换行/取消换行 单击按钮,搜索的日志内容将换行显示。若不需要换行,单击按钮,取消换行。 说明: 默认开启换行按钮。 下载日志 该功能仅支持白名单用户使用,如有需要,请提交工单申请开通。 鼠标悬浮在按钮上,单击“下载日志”,在弹出的下载日志页面中支持“本地下载”和“前往创建转储”。开通一次性转储后才能看到“前往创建转储”功能。 本地下载:将日志文件直接下载到本地,白名单用户单次下载支持最大2000万条日志。非白名单用户单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 前往创建转储(白名单功能):通过OBS转储任务下载日志文件,单次下载支持最大2,000万条日志。单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储至OBS。 鼠标悬浮在按钮上,单击“日志下载历史”,在日志下载历史页面,支持查看、下载、删除日志下载记录。 全部折叠/全部展开 单击设置日志内容展示的行数。若不需要展示日志内容,再单击一次按钮即可关闭展示的日志内容。 说明: 默认不折叠。折叠后,默认显示2行,最多支持展示6行。 JSON设置 鼠标悬浮在按钮上,单击“JSON设置”,在弹出的JSON设置页面中,设置格式化显示。 说明: 默认开启格式化,JSON默认展开层级为2层。若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 日志折叠设置 鼠标悬浮在按钮上,单击“日志折叠设置”,在弹出的日志折叠设置页面中,设置长日志字符个数。 日志超过设置的长日志字符个数时,超出字符将被隐藏,单击“展开”按钮可查看全部内容。 说明: 默认开启自动折叠长日志,字符个数默认为400个。 日志时间展示 鼠标悬浮在按钮上,单击“日志时间展示”,在弹出的日志折叠设置页面中,设置是否展示毫秒、是否展示时区。 说明: 默认开启展示毫秒。 虚拟滚动设置 鼠标悬浮在按钮上,单击“虚拟滚动设置”,在弹出的虚拟滚动设置页面中,设置是否开启虚拟滚动、填写缓冲区大小。 说明: 虚拟滚动可以避免或减少滚动时卡顿的情况,提升操作体验,防止页面卡死。 滚动时数据会重新渲染,一定程度上影响数据流畅性。 缓冲区决定同时加载的数据量大小,缓冲区越大,同时加载的数据越多,但滚动性能会越差。 不可见字段列表 该列表展示版面设置中配置的不可见性字段。 当日志流未配置版面设置时,将不显示按钮。 当日志内容为“CONFIG_FILE”且未配置版面设置时,不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。
-
数据组织形式 管道符特性针对特定的数据组织形式,对于云日志服务而言,管道符特性的数据主要由两部分构成,一部分是结构化数据,一部分是原始日志。示例如下: {"id": 1, "name": "Bob", "job": "java", "age": 21, "sal": 8000, "gender": "female", "_log": "name: Bob, job: java, age: 21, sal: 8000, gender: female"} 其中:“id”,“name”,“job”,“age”,“sal”和“gender”是结构化数据的字段,“_log”是原始日志字段。
-
交互模式 使用交互模式之前,请确保日志正常上报,且已经完成结构化分析和索引配置,详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 交互式搜索分析适用于生成简单的分析语句,操作简单,通过在界面上设置搜索条件和指定日志查询时的过滤规则,从而筛选日志中满足条件的记录。如果您需要使用更多的函数或者嵌套查询,请手动输入SQL语句。详细请参考SQL函数。 单击搜索框前面的“交互模式”,进入交互式搜索分析页面,支持日志搜索和 日志分析 。 在“日志搜索”下方的下拉框选择日志搜索的字段和条件,搜索框则会展示对应字段的值。根据业务需要,用户可以自定义设置搜索方式,添加关联关系或添加组进行搜索。 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。 且(AND)表示在多个条件中需要同时满足所有条件才能成立。 或(OR)表示在多个条件中只需满足其中一个条件即可。 例如在界面上选择content、hostId、pathFile字段,设置不同的条件,随时可以预览搜索语句,如有问题,可以修改搜索条件,操作简单。 (截图仅供参考,请以实际搜索结果为准) (content:"{\"string_withindex\":\"11/10/2024:17:40:13\",\"string_noindex\":\"11/10/2024:17:40:13\",\"rizhineirongbaohanshuangyinhao\":\"\\"error\\"\",\"rizhineirongbaohanyufaguanjianci\":\"and\",\"long_withindex\":1829169,\"long_noindex\":1829169,\"float_withindex\":1829169.5678,\"float_noindex\":1829169.5678,\"json\":{\"string_withindex\":\"11/10/2024:17:40:13\",\"string_noindex\":\"11/10/2024:17:40:13\",\"long_withindex\":1829169,\"long_noindex\":1829169,\"float_withindex\":1829169.5678,\"float_noindex\":1829169.5678}}" AND hostId:82de1569-0423-42b3-ab72-2ed8e54df664) OR pathFile:/root/221/testq.log 设置完成后,单击“确定”,LTS根据搜索语句进行日志搜索,在日志搜索下方即可查看搜索结果。(截图仅供参考,请以实际搜索结果为准) 单击搜索框前面的“交互模式”,进入交互式搜索分析页面,在日志分析下方,设置分析规则。(截图仅供参考,请以实际搜索结果为准) 添加指标,选择统计函数作用于选定的字段,计算出用户想要的指标。 分组排序(添加分组和添加排序),先基于用户选择的字段分组(group by),然后分组执行指标统计,最后对结果进行排序(order by)。 设置完成后,单击“确定”,在“统计图表”页面,即可查看分析结果。更多信息请参考使用统计图表将日志可视化。
-
日志搜索分析 在云日志服务管理控制台,单击“日志管理”。 在日志组列表中,单击日志组名称前对应的按钮。 在日志流列表中,单击日志流名称,进入日志详情页面。 在“统计图表”页签,在右上角选择时间范围,可以查看原始日志和统计图表。在搜索框由搜索语句和SQL分析语句组成,两者通过管道符|联动,详细请参考SQL函数。 日志高亮的实现原理是当查询条件命中日志后,再将日志与查询条件进行字符串匹配,相同日志部分增加高亮标签,该部分会在界面高亮展示。因此当查询条件比较复杂,尤其是存在或关系时,在界面高亮显示的内容可能会比实际查询结果显示的多。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。
-
创建环境 登录CAE控制台。 选择以下任意方式创建环境。 在您首次使用本服务时,页面会提醒您尚未创建环境。 单击创建环境卡片中的“立即创建”。 图1 创建环境 在弹出的对话框中输入对应的参数,具体参照表1。 表1 创建环境 参数 说明 环境名称 输入自定义的环境名称。 企业项目 设置企业项目。 企业项目管理提供了一种按企业项目管理云资源的方式,帮助您实现以企业项目为基本单元的资源及人员的统一管理,默认项目为default。 开通企业项目后可以使用。 虚拟私有云 下拉框中选择环境资源所在VPC。 如需创建VPC,请单击“创建虚拟私有云”,具体操作参考创建虚拟私有云。 说明: 环境创建完成后,不支持修改VPC。 子网 下拉框中选择环境子网。 无可用子网时,单击“创建子网”,进入网络控制台创建新子网,具体操作参考为虚拟私有云创建新的子网。 说明: 子网需要保留至少2个可用网络IP地址,以供CAE配置和优化使用,如果不满足条件,会创建失败。 安全组 选择“自动生成”。 说明: 安全组需要放通所选择的子网到子网网关地址,以及需要访问的中间件如RDS,CSE等服务的访问地址和端口。 组织 如果您是首次使用本服务,在该下拉框中单击“创建组织”,输入自定义的组织名称。 非首次使用本服务,选择“组件列表”。 单击页面上方环境模块右侧。 在弹出的“新增环境”对话框中输入新增环境的名称。 可直接使用已创建的环境。 单击“确定”,完成创建环境。
-
操作场景 云审计 服务管理控制台支持对已创建的管理类追踪器增加OBS转储、LTS转储等相关配置。 用户可以选择是否将已记录的事件发送到OBS桶永久保存。如果用户想要对管理类事件进行统一管理,还可以设置将多个账号记录的事件统一转储到一个OBS桶。 OBS桶有标准存储、低频访问存储和归档存储三种类型。由于云审计服务需要高频次的访问转储的OBS桶,您在云审计控制台新建的OBS桶默认是一个单AZ标准存储的私有桶。如果您需要其他额外配置,建议提前在OBS服务创建OBS桶。详情请参考创建桶。 配置追踪器完成后,系统立即以新的规则开始记录操作。 本节介绍如何配置管理类事件追踪器。
-
使用说明 全局级服务需要在中心region(北京四)的云审计控制台配置关键操作通知,才能使用关键操作 消息通知 功能。全局级服务在其他region的云审计控制台配置时,上述功能不会生效。您可以在约束与限制中,查阅目前华为云的全局级服务信息。 由于云审计服务的关键操作通知需要使用消息通知服务向相关的订阅者发送通知,因此需要提前了解消息通知服务的创建主题、添加订阅等操作。 云审计服务支持创建100个关键操作通知: 自定义类型的关键操作通知支持单独设置触发操作范围、指定操作用户和通知主题。 完整类型的关键操作通知,支持通知主题。 如果云审计服务和 云监控服务 使用同一消息主题,则接受终端一样,但是发送的内容不同。 单个关键操作通知支持最多对10个用户组的50个用户发起的操作进行通知配置。单个关键操作通知不支持一次选择多个用户组,但是可以分次添加不同用户组中的用户在同一个关键操作通知。
-
相关信息 云审计服务的功能主要包括: 记录审计日志:支持记录用户通过管理控制台或API接口发起的操作,以及各服务内部自触发的操作。 审计日志查询:支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 审计日志转储:支持将审计日志周期性的转储至 对象存储服务 (Object Storage Service,简称OBS)下的OBS桶,转储时会按照服务维度压缩审计日志为事件文件,或转储至云日志服务(Log Tank Service,简称LTS)下的LTS日志流。 事件文件加密:支持在转储过程中使用 数据加密 服务(Data Encryption Workshop,简称DEW)中的密钥对事件文件进行加密。 关键操作通知:支持在发生特定操作时使用消息通知服务(Simple Message Notification,简称 SMN )向用户手机、邮箱发送消息。
-
操作场景 用户首次进入云审计服务时,在追踪器页面单击“开通云审计服务”,系统会自动为您创建一个名为system的管理追踪器,之后您也可以在追踪器页面创建多个数据追踪器。管理追踪器会自动识别并关联当前租户所使用的所有云服务,并将当前租户的所有操作记录在该追踪器中。数据追踪器会记录租户对OBS桶中的数据操作的详细信息。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,需要将事件文件保存至对象存储服务中的存储对象的容器,即OBS桶,也可以保存至LTS日志流。开通云审计服务之前,需要开通对象存储服务和云日志服务,且用户对即将要使用的OBS桶和LTS日志流具有完全的使用权限。云服务平台默认仅开通OBS的服务所有者能够访问OBS桶及其包含的所有对象,但服务所有者可以通过编写访问策略来向其他服务和用户授予访问权。
-
关联服务 对象存储服务(Object Storage Service,简称OBS):存储事件文件。 由于云审计服务需要高频次的访问转储的OBS桶,因此必须选择使用标准存储类型的OBS桶。 数据加密服务(Data Encryption Workshop,简称DEW):为事件文件加密功能提供密钥。 云日志服务(Log Tank Service,简称LTS):提供日志存储功能。 消息通知服务(Simple Message Notification,简称SMN):检测到关键操作时,调用消息通知服务向用户发送邮件、短信通知。
-
操作场景 云审计服务管理控制台支持配置已开启的追踪器的OBS桶、LTS转储和配置已创建的追踪器关键事件操作通知。 用户可选择已存在的OBS桶。云审计服务会自动为该OBS桶挂载转储所需的桶策略。 当配置云审计服务的追踪器中的“事件文件前缀”时,不影响对应OBS桶的策略。 如果用户想要对数据类事件进行统一管理,可以设置将多个追踪对象的事件转储到同一个OBS桶。 OBS桶有标准存储、低频访问存储和归档存储三种类型。由于云审计服务需要高频次的访问转储的OBS桶,因此必须使用标准存储类型的OBS桶。 配置追踪器完成后,系统立即以新的规则开始记录操作。 本节介绍如何配置数据类事件追踪器。
-
安装 CES Agent监控插件 当前账户需要给CES授权委托,请参考创建用户并授权使用 云监控 服务。 当前还不支持在CES界面直接一键安装监控,需要登录到服务器上执行以下命令安装配置Agent。其它region的安装请参考单台主机下安装Agent。 cd /usr/local && curl -k -O https://obs.cn-north-4.myhuaweicloud.com/uniagent-cn-north-4/script/agent_install.sh && bash agent_install.sh 安装成功的标志如下: 图1 安装成功提示 在CES界面查看具体的监控项,加速卡类的监控项必须在主机安装加速卡驱动后才会有相关指标。 图2 监控界面 至此,监控插件已经安装完成,相关指标的采集可以在UI界面直接查看或者根据指标值配置相关告警。
-
Lite Server支持的事件列表 通过对接CES,可以将业务中的重要事件或对云资源的操作事件收集到CES云监控服务,并在事件发生时进行告警。Lite Server支持的事件来源主要是BMS,具体事件列表如下。 表2 Lite Server支持的事件列表 事件来源 命名空间 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 BMS SYS.BMS NPU: npu-smi info查询缺少设备 NPUSMICardNotFound 重要 可能是由于昇腾驱动问题或NPU掉卡 转昇腾和硬件处理 NPU卡无法正常使用 NPU: PCIe链路异常 PCIeErrorFound 重要 lspci显示npu卡处于rev ff状态 转硬件处理 NPU卡无法正常使用 NPU: lspci查询缺少设备 LspciCardNotFound 重要 一般是由于NPU掉卡 转硬件处理 NPU卡无法正常使用 NPU: 温度超过阈值 TemperatureOverUpperLimit 重要 可能是由于DDR颗粒温度过高或过温软件预警 暂停业务,重启系统,查看散热系统,device复位 可能造成过温下电及device丢失 NPU: 存在不可纠正ECC错误 UncorrectableEccErrorWarning 重要 NPU卡出现Uncorrectable ECC Error硬件故障 如果业务受到影响,转硬件换卡 业务可能受到影响终止 NPU: 需要重启实例 RebootVirtualMachine 提示 当前故障很可能需要重启进行恢复 在收集必要信息后,重启以尝试恢复 重启可能中断客户业务 NPU: 需要复位SOC ResetSOC 提示 当前故障很可能需要复位SOC进行恢复 在收集必要信息后,复位SOC以尝试恢复 复位SOC可能中断客户业务 NPU: 需要退出AI任务重新执行 RestartAIProcess 提示 当前故障很可能需要客户退出当前的AI任务并尝试重新执行 在收集必要信息后,尝试退出当前AI任务并尝试重新执行 退出当前AI任务以便重新执行 NPU: errorcode告警 NPUErrorCodeWarning 重要 这里涵盖了大量重要及以上的NPU错误码,您可以根据这些错误码进一步定位错误原因 对照《黑匣子错误码信息列表》和《健康管理故障定义》进一步定位错误 NPU当前存在故障,可能导致客户业务终止 NPU HBM多ECC错误信息 NpuHbmMultiEccInfo 提示 NPU卡存在HBM的ECC错误,此事件上报相应错误信息 这是一个用于辅助其他事件进行判断的事件,无需单独定位处理 这是一个用于辅助其他事件进行判断的事件,无需单独定位处理 NPU: HCCS交换机端口故障 NpuHccsPortFault 重要 NPU的L1 1520交换机端口发生故障 这是一个用于辅助其他事件进行判断的事件,无需单独定位处理 这是一个用于辅助其他事件进行判断的事件,无需单独定位处理 GPU: RoCE网卡配置错误 GpuRoceNicConfigIncorrect 重要 GPU: RoCE网卡配置错误 联系运维人员协助处理 机器参数面网络异常,多机任务无法执行 OS出现ReadOnly问题 ReadOnlyFileSystem 严重 文件系统%s只读 请检查磁盘健康状态 无法对文件进行写和操作 NPU:驱动固件不匹配 NpuDriverFirmwareMismatch 重要 NPU驱动固件版本不匹配 请从昇腾官网获取匹配版本重新安装 无法正常使用NPU卡 NPU:Docker容器环境检测 NpuContainerEnvSystem 重要 Docker不可用 确认docker软件是否正常 无法使用docker软件 重要 容器插件Ascend-Docker-Runtime未安装 安装容器插件Ascend-Docker-Runtime,否则影响容器使用昇腾卡 docker容器无法挂载NPU卡 重要 操作系统没有开启IP转发功能 请检查/etc/sysctl.conf文件中net.ipv4.ip_forward配置 docker容器无法正常网络通信 重要 容器共享内存过小 共享内存默认为64M,可按需修改 分布式训练时共享内存不足导致训练失败 方式一: 修改/etc/docker/daemon.json配置文件default-shm-size字段 方式二: docker run 命令中使用 --shm-size 参数来设置单个容器的共享内存大小 NPU:RoCE网卡down RoCELinkStatusDown 重要 NPU 卡 %d RoCE Link 状态Down 请检查NPU Roce网口状态 NPU网卡不可用 NPU:RoCE网卡健康状态异常 RoCEHealthStatusError 重要 NPU 卡 %d RoCE 网络健康状态异常 请检查NPU Roce网卡健康状态 NPU网卡不可用 NPU:Roce网卡配置文件/etc/hccn.conf不存在 HccnConfNotExisted 重要 Roce网卡配置文件"/etc/hccn.conf"不存在 请检查/etc/hccn.conf网卡配置文件 Roce网卡不可用 GPU:GPU基本组件异常 GpuEnvironmentSystem 重要 nvidia-smi命令异常 请检查GPU驱动是否正常 GPU卡驱动不可用 重要 nvidia-fabricmanager版本和GPU驱动版本不一致 请检查GPU驱动版本和nvidia-fabricmanager版本 nvidia-fabricmanager 无法正常工作,影响 GPU 的使用 重要 容器插件nvidia-container-toolkit未安装 安装容器插件nvidia-container-toolkit docker无法挂载GPU卡 本地磁盘挂载巡检 MountDiskSystem 重要 /etc/fstab中有无效的UUID 请检查/etc/fstab配置文件中UUID的正确性,否则可能会导致机器重启失败 挂载磁盘错误,导致机器重启异常 GPU:Ant系列机器动态路由配置错误 GpuRouteConfigError 重要 Ant系列机器网卡%s动态路由未配置或配置错误,CMD [ip route]: %s | CMD [ip route show table all]: %s。 请正确配置RoCE网卡路由 NPU网络通信异常 NPU:Roce 端口未散列配置 RoCEUdpConfigError 重要 RoCE UDP端口未散列配置 请检查NPU RoCE UDP端口配置情况 影响NPU卡通信性能 系统内核自动升级预警 KernelUpgradeWarning 重要 系统内核自动升级预警,旧版本:%s,新版本:%s 系统内核升级可能导致配套AI软件异常,请检查系统更新日志,避免机器重启 可能导致配套AI配套软件不可用 NPU环境相关命令检测 NpuToolsWarning 重要 hccn_tool不可用 请检查NPU驱动是否正常 无法配置RoCE网卡的IP、网关 重要 npu-smi不可用 请检查NPU驱动是否正常 无法正常使用NPU卡 重要 ascend-dmi不可用 请检查工具包ToolBox是否正常安装 无法使用ascend-dmi进行性能分析
-
监控方案介绍 监控概述请参考BMS官方文档。除文档所列支持的镜像之外,目前还支持Ubuntu20.04。 监控指标采样周期1分钟。当前监控指标项已经包含CPU、内存、磁盘、网络。在主机上安装加速卡驱动后,可以自动采集的相关指标。此处仅展示NPU相关指标,其他指标项请参考CES Agent支持的指标列表。 表1 NPU指标列表 英文名称 中文名称 说明 单位 维度 npu_device_health NPU健康状况 NPU卡的健康状况 - instance_id,npu npu_util_rate_mem NPU显存使用率 NPU卡的显存使用率 % instance_id,npu npu_util_rate_ai_core NPU卡AI核心使用率 NPU卡的AI核心使用率 % instance_id,npu npu_util_rate_ai_cpu NPU卡AICPU使用率 NPU卡的AI-CPU使用率 % instance_id,npu npu_util_rate_ctrl_cpu NPU控制CPU使用率 NPU卡的控制CPU使用率 % instance_id,npu npu_util_rate_mem_bandwidth NPU显存带宽使用率 NPU卡的显存带宽使用率 % instance_id,npu npu_freq_mem NPU显存频率 NPU卡的显存频率 MHz instance_id,npu npu_freq_ai_core NPU卡AI核心频率 NPU卡的AI核心时钟频率 MHz instance_id,npu npu_usage_mem NPU显存使用量 NPU卡的显存使用量 MB instance_id,npu npu_sbe NPU单bit错误数量 NPU卡单比特错误数量 count instance_id,npu npu_dbe NPU双bit错误数量 NPU卡双比特错误数量 count instance_id,npu npu_power NPU功率 NPU卡功率 W instance_id,npu npu_temperature NPU温度 NPU卡温度 °C instance_id,npu npu_driver_health NPU驱动健康状况 NPU卡的驱动的健康状况 - instance_id,npu npu_device_network_health NPU网络健康情况 NPU卡的RoCE网卡的IP地址连通情况 - instance_id,npu npu_network_port_link_status NPU网口link状态 NPU卡的对应网口link状态 - instance_id,npu npu_roce_tx_rate NPU网卡上行速率 NPU卡内网卡的上行速率 MB/s instance_id,npu npu_roce_rx_rate NPU网卡下行速率 NPU卡内网卡的下行速率 MB/s instance_id,npu npu_mac_tx_mac_pause_num MAC发送pause帧总数 NPU卡对应MAC 地址发送的 pause帧总报文数 count instance_id,npu npu_mac_rx_mac_pause_num MAC接收pause帧总数 NPU卡对应MAC 地址接收的 pause帧总报文数 count instance_id,npu npu_mac_tx_pfc_pkt_num MAC发送pfc帧总数 NPU卡对应MAC 地址发送的 PFC帧总报文数 count instance_id,npu npu_mac_rx_pfc_pkt_num MAC接收pfc帧总数 NPU卡对应MAC 地址接收的 PFC帧总报文数 count instance_id,npu npu_mac_tx_bad_pkt_num MAC发送坏包总数 NPU卡对应MAC 地址发送的 坏包总数 count instance_id,npu npu_mac_rx_bad_pkt_num MAC接收坏包总数 NPU卡对应MAC 地址接收的 坏包总数 count instance_id,npu npu_roce_tx_err_pkt_num RoCE发送坏包总数 NPU卡内RoCE网卡发送的坏包总数 count instance_id,npu npu_roce_rx_err_pkt_num RoCE接收坏包总数 NPU卡内RoCE网卡接收的坏包总数 count instance_id,npu npu_hbm_freq HBM频率 NPU卡HBM频率 MHz instance_id,npu npu_hbm_usage HBM使用量 NPU卡HBM使用量 MB instance_id,npu npu_hbm_temperature HBM温度 NPU卡HBM温度 °C instance_id,npu npu_hbm_bandwidth_util HBM带宽利用率 NPU卡HBM带宽利用率 % instance_id,npu npu_hbm_ecc_enable HBM ECC开关状态 NPU卡HBM ECC开关状态 - instance_id,npu npu_hbm_single_bit_error_cnt HBM当前单bit错误数量 NPU卡HBM当前单bit错误数量 count instance_id,npu npu_hbm_double_bit_error_cnt HBM当前双bit错误数量 NPU卡HBM当前双bit错误数量 count instance_id,npu npu_hbm_total_single_bit_error_cnt HBM生命周期内单bit错误数量 NPU卡HBM生命周期内单bit错误数量 count instance_id,npu npu_hbm_total_double_bit_error_cnt HBM生命周期内双bit错误数量 NPU卡HBM生命周期内双bit错误数量 count instance_id,npu npu_hbm_single_bit_isolated_pages_cnt HBM单比特错误隔离内存页数量 NPU卡HBM单比特错误隔离内存页数量 count instance_id,npu npu_hbm_double_bit_isolated_pages_cnt HBM多比特错误隔离内存页数量 NPU卡HBM多比特错误隔离内存页数量 count instance_id,npu npu_hbm_mem_capacity NPU的HBM内存容量 该指标描述NPU的HBM内存容量 MB instance_id,npu npu_voltage NPU电压 该指标描述NPU的电压 V instance_id,npu npu_freq_ai_core_rated NPU的AI核心额定频率 该指标描述NPU的AI核心额定频率 MHz instance_id,npu npu_freq_ctrl_cpu NPU的控制CPU频率 该指标描述NPU的控制CPU频率 MHz instance_id,npu npu_aicpu_max_freq NPU的AICPU最大频率 该指标描述NPU的AICPU最大频率 MHz instance_id,npu npu_aicpu_cur_freq NPU的AICPU频率 该指标描述NPU的AICPU频率 MHz instance_id,npu npu_aicpu_avg_util_rate NPU的AICPU平均使用率 该指标描述NPU的AICPU平均使用率 % instance_id,npu npu_aicpu_num NPU的AICPU数量 该指标描述NPU的AICPU数量 count instance_id,npu npu_link_cap_speed NPU链路最大传输速度 该指标描述NPU设备支持的最大传输速度 GT/s instance_id,npu npu_link_cap_width NPU链路最大传输宽度 该指标描述NPU设备支持的最大传输宽度 count instance_id,npu npu_link_status_speed NPU链路当前传输速度 该指标描述NPU设备链路的实际传输速度 GT/s instance_id,npu npu_link_status_width NPU链路当前传输宽度 该指标描述NPU设备链路的实际传输宽度 count instance_id,npu npu_util_rate_hbm NPU的HBM占用率 该指标描述NPU的HBM占用率 % instance_id,npu npu_opt_temperature NPU光模块壳温 该指标描述NPU光模块壳温 °C instance_id,npu npu_opt_temperature_high_thres NPU光模块壳温上限 该指标描述NPU光模块壳温上限 °C instance_id,npu npu_opt_temperature_low_thres NPU光模块壳温下限 该指标描述NPU光模块壳温下限 °C instance_id,npu npu_opt_voltage NPU光模块供电电压 该指标描述NPU光模块供电电压 mV instance_id,npu npu_opt_voltage_high_thres NPU光模块供电电压上限 该指标描述NPU光模块供电电压上限 mV instance_id,npu npu_opt_voltage_low_thres NPU光模块供电电压下限 该指标描述NPU光模块供电电压下限 mV instance_id,npu npu_opt_tx_power_lane0 NPU光模块通道0发送功率 该指标描述NPU光模块通道0发送功率 mW instance_id,npu npu_opt_tx_power_lane1 NPU光模块通道1发送功率 该指标描述NPU光模块通道1发送功率 mW instance_id,npu npu_opt_tx_power_lane2 NPU光模块通道2发送功率 该指标描述NPU光模块通道2发送功率 mW instance_id,npu npu_opt_tx_power_lane3 NPU光模块通道3发送功率 该指标描述NPU光模块通道3发送功率 mW instance_id,npu npu_opt_rx_power_lane0 NPU光模块通道0接收功率 该指标描述NPU光模块通道0接收功率 mW instance_id,npu npu_opt_rx_power_lane1 NPU光模块通道1接收功率 该指标描述NPU光模块通道1接收功率 mW instance_id,npu npu_opt_rx_power_lane2 NPU光模块通道2接收功率 该指标描述NPU光模块通道2接收功率 mW instance_id,npu npu_opt_rx_power_lane3 NPU光模块通道3接收功率 该指标描述NPU光模块通道3接收功率 mW instance_id,npu npu_opt_tx_bias_lane0 NPU光模块通道0发射偏置电流 该指标描述NPU光模块通道0发射偏置电流 mA instance_id,npu npu_opt_tx_bias_lane1 NPU光模块通道1发射偏置电流 该指标描述NPU光模块通道1发射偏置电流 mA instance_id,npu npu_opt_tx_bias_lane2 NPU光模块通道2发射偏置电流 该指标描述NPU光模块通道2发射偏置电流 mA instance_id,npu npu_opt_tx_bias_lane3 NPU光模块通道3发射偏置电流 该指标描述NPU光模块通道3发射偏置电流 mA instance_id,npu npu_opt_tx_los NPU光模块TX Los 该指标描述NPU光模块TX Los flag count instance_id,npu npu_opt_rx_los NPU光模块RX Los 该指标描述NPU光模块RX Los flag count instance_id,npu
-
注意事项 本文旨在指导如何在Snt9b裸金属服务器上,进行磁盘合并挂载、安装docker等环境配置。在配置前请注意如下事项: 首次装机时需要配置存储、固件、驱动、网络访问等基础内容,这部分配置尽量稳定减少变化。 裸机上的开发形式建议开发者启动独立的Docker容器作为个人开发环境。Snt9b的裸机包含8卡算力资源,一般来说多人可以共用这个裸机完成开发与调测工作。多人使用为了避免冲突,建议各自在自己的docker容器中进行独立开发,并提前规划好每个人使用的具体卡号,避免相互影响。 ModelArts提供了标准化基础容器镜像,在容器镜像中已经预置了基础MindSpore或PyTorch框架和开发调测工具链,推荐用户直接使用该镜像,用户也可以使用自己的业务镜像或昇腾AscendHub提供的镜像。如果镜像中预置的软件版本不是您期望的版本,可以自行安装替换。 开发形式推荐通过容器中暴露的SSH端口以远程开发的模式(VSCode SSH Remote、 Xshell)连接到容器中进行开发,可以在容器中挂载宿主机的个人存储目录,用于存放代码和数据。 当前指导中很多操作步骤在最新发放的Snt9b裸机环境中已经预置,无需用户再手动配置,用户在操作中如发现某个步骤已有预置配置可直接跳过该步骤。
-
AIGC模型 SDXL&SD1.5 ComfyUI插件基于Server适配PyTorch NPU推理指导(6.3.906) LLaVA模型基于Server适配PyTorch NPU预训练指导(6.3.906) LLaVA模型基于Server适配PyTorch NPU推理指导(6.3.906) Qwen-VL基于Server适配Pytorch NPU的Finetune训练指导(6.3.906) Qwen-VL基于Server适配Pytorch NPU的推理指导(6.3.906)
-
包年/包月资源 对于包年/包月计费模式的DCS缓存实例,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 资源退订后,实例及数据将立即删除且无法恢复。退订前请确认实例数据完成本地备份或不再使用。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- ...
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章