华为云用户手册
-
URI GET /v1/{project_id}/session/list-sessions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 单次查询的大小[1-100]。 offset 否 Integer 查询的偏移量。 user_name 否 String 用户名。 query_begin_time 是 String 搜索开始时间,以会话开始时间为条件查询,格式2024-02-27T03:47:51.182Z。 query_end_time 是 String 搜索结束时间,以会话开始时间为条件查询,格式2024-02-27T03:47:51.182Z。 app_server_group_id 否 String AppServer组ID。 vm_ip 否 String 服务器IP。 machine_name 否 String 应用服务器名称。 session_state 否 String 应用状态: Active - 会话当前处于活动状态,有用户登录并且正在使用。 Disconnected - 用户已经登录但会话处于断开连接状态。 AppcInit - 会话正在初始化。 SignedOut - 会话已注销。 InitFail - 会话初始化失败。 is_success 否 String 会话是否创建成功,默认不填则查询全部 'true' - 会话创建成功 'false' - 会话创建失败
-
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 job_id String 任务ID。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 403 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 404 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 405 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 500 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 503 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。
-
请求示例 POST /v1/a4da8115c9d8464ead3a38309130523f/image-servers/25b1dd14-0c84-4558-aa57-03a6c54b8e75/actions/recreate-image { "name" : "image_name_0508", "description" : "This is an image recreate desc." }
-
响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 401 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 403 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 404 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 405 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 500 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 503 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。
-
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token。 通过调用 IAM 服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 否 String 镜像实例名称,名称需满足如下规则: 由中文,英文大小写,数字,_-组成,不能有空格。 长度范围1~64个字符。 description 否 String 服务器组描述。
-
响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 401 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 403 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 404 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 405 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 415 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 500 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 503 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。
-
响应示例 状态码: 200 成功响应。 { "server_end_point" : "https://obs.cn-nor***huaweicloud.com", "bucket_name" : "wks-app-test123456", "directory" : "file/Postman.exe", "ak" : "5BJ**********30", "sk" : "2yBU5X6h7k*******odwsMtw5gt", "policy" : { "version" : "1.1", "statement" : { "effect" : "Allow", "action" : [ "obs:object:putObject", "obs:object:deleteObject" ], "resource" : [ "obs:*:*:object:wks-app-test123456/file/Postman.exe" ] } }, "security_token" : "ggpjbi1ub3J0a***********VJKSkNHUjMwIiwi...", "expires_at" : "2020-01-08T03:16:01:599000Z" }
-
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 app_file_name 是 String 应用名称,名称需满足如下规则: 文件名前缀由可见字符和空格组成,且不能为全空格。 长度范围1~255个字符。 结尾必须是.msi或者.exe或者.zip或者.rar。
-
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 server_end_point String 访问的服务终端节点。 bucket_name String 存放的桶名称。 directory String 存放目录。 ak String 获取的AK。。 sk String 获取的SK。 expires_at String AK/SK和securitytoken的过期时间。。 policy Policy object ak/sk允许的访问策略。 security_token String 安全校验token,将所获的AK、SK等信息进行加密后的字符串。 表5 Policy 参数 参数类型 描述 version String 版本号。 statement ObsPolicyStatement object OBS桶存放的策略内容。 表6 ObsPolicyStatement 参数 参数类型 描述 effect String 策略操作类型。 action Array of strings 可以进行操作的权限合集。 resource Array of strings 允许访问的资源。 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 401 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 403 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 404 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 405 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 415 表12 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 500 表13 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。 状态码: 503 表14 响应Body参数 参数 参数类型 描述 error_code String 错误码,失败时返回。 error_msg String 错误描述。
-
修订记录 发布日期 修订记录 2024-09-05 第六十次正式发布。 新增: Workspace支持的 CES 基础监控指标 2024-08-26 第五十九次正式发布。 新增: 开启/关闭终端与桌面绑定功能章节中新增接入时自动绑定。 2024-08-13 第五十八次正式发布。 修改: 准备软件中Windows镜像制作工具的版本号。 2024-07-30 第五十七次正式发布。 新增: 导入用户 修改: 创建用户章节中用户名规则。 2024-07-24 第五十六次正式发布。 新增: Workspace运维监控指标 2024-07-15 第五十五次正式发布。 新增: 制作UOS操作系统桌面私有镜像 制作麒麟操作系统桌面私有镜像 删除: 租户配置下的修改互联网接入端口章节。 2024-06-26 第五十四次正式发布。 管理桌面添加快照相关操作。 管理桌面池添加快照相关操作。 快照管理 2024-06-20 第五十三次正式发布。 新增:管理MFA 关闭多因素认证 2024-06-18 第五十二次正式发布。 新增: 界面总览支持查看 云桌面 时延分布。 2024-05-06 第五十一次正式发布。 新增: 云专线支持开启NAT映射 2024-04-01 第五十次正式发布。 新增: 配置云服务器章节中新增“关闭混合睡眠”。 2024-03-01 第四十九次正式发布。 新增: 包年/包月转按需 2024-02-27 第四十八次正式发布。 新增: 导出中心 2024-01-30 第四十七次正式发布。 新增: 分配用户 解绑用户 2023-12-30 第四十六次正式发布。 新增: 脚本管理 2023-12-11 第四十五次正式发布。 新增: 协同桌面 为用户订阅多人协同 桌面命名规则 2023-11-23 第四十四次正式发布。 修改: 更新:准备软件章节中Windows镜像制作工具链接地址。 2023-11-20 第四十三次正式发布。 修改: 更新:准备软件章节中Windows镜像制作工具链接地址。 2023-09-20 第四十二次正式发布。 新增:桌面池管理 重建系统盘中新增批量重建系统盘 2023-07-05 第四十一次正式发布。 修改: 更新准备软件章节中HW.SysAgent.Installer_64.msi 和HW.SysPrep.Installer_64.msi软件包获取地址 2023-07-03 第四十次正式发布。 新增: 第三方单点认证 桌面网络设置 2023-06-25 第三十九次正式发布。 新增: 订阅事件 2023-04-26 第三十八次正式发布。 新增: 上网管理 定时任务 用户组管理 桌面退订 Linux桌面转镜像 2023-03-25 第三十七次正式发布。 修改: 准备软件中更新“Workspace_HDP_WindowsDesktop_Installer_x.x.x.iso”工具获取路径。 2023-01-12 第三十六次正式发布。 修改: 配置云服务器中调整修改跃点数脚本的配置步骤。 2022-12-14 第三十五次正式发布。 修改: 准备软件中更新“Workspace_HDP_WindowsDesktop_Installer_x.x.x.iso”工具获取路径。 2022-12-12 第三十四次正式发布。 修改: 重建系统盘中增加变更系统盘操作。 2022-12-08 第三十三次正式发布。 新增: 终端与桌面绑定关系管理 2022-11-11 第三十二次正式发布。 修改: 桌面转镜像优化操作系统描述。 2022-11-03 第三十一次正式发布。 新增: 删除磁盘 接入策略管理 配置是否屏蔽退订/删除桌面的通知邮件 数据备份与恢复 修改: 优化界面总览状态描述。 优化配置AD域中主域控制器名称描述。 修改准备软件中Windows镜像制作工具的获取地址。 2022-09-27 第三十次正式发布。 修改: 通过ISO文件注册私有镜像中修改启动方式选择“BIOS”。 配置云服务器中增加禁止Cloudbase-Init重启配置项。 2022-09-19 第二十九次正式发布。 新增: 导出策略 导入策略 修改: 重建系统盘中增加Windows操作系统的桌面检查及修改磁盘状态的参考链接。 配置云服务器中增加修改操作系统SAN策略操作步骤。 2022-09-16 第二十八次正式发布。 修改: 修改剪切板重定向的策略描述,涉及如下章节: 创建策略 编辑策略 配置高级策略参数 2022-09-06 第二十七次正式发布。 新增: 取消服务 修改: 配置云桌面可访问企业内网优化访问企业内网的端口描述。 2022-09-05 第二十六次正式发布。 修改: 管理桌面新增解绑用户和再分配用户的操作描述。 重建系统盘中优化操作描述。 2022-09-02 第二十五次正式发布。 新增: 重建系统盘 按需转包年/包月 为包年/包月桌面续费 重新激活服务状态 修改: 配置云桌面可访问企业内网增加端口使用限制。 2022-08-30 第二十四次正式发布。 新增: 企业自有认证系统认证 修改: 修改管理桌面中修改桌面名称的命名规则。 优化华为云多因素认证服务(虚拟MFA认证)配置描述,并增加终端用户操作参考链接。 2022-08-08 第二十三次正式发布。 新增: 配置多因素认证 2022-07-22 第二十二次正式发布。 修改: 变更规格修改套餐间规格变更说明。 2022-07-15 第二十一次正式发布。 修改: 变更规格增加套餐间规格变更说明。 配置云桌面可访问互联网增加多种开通途径说明。 配置云桌面和Windows AD网络互通修改RPC动态端口。 2022-07-04 第二十次正式发布。 修改: 配置AD域增加多个子项目可对接同一个Windows AD的说明。 配置云桌面可访问互联网优化配置。 配置云桌面可访问企业内网增加VPN配置说明。 2022-06-24 第十九次正式发布。 修改: 扩容磁盘优化磁盘可扩容容量说明。 配置云服务器优化禁用防火墙的配置。 2022-06-09 第十八次正式发布。 修改: 优化创建用户用户名称规则。 2022-05-30 第十七次正式发布。 修改: 更新准备软件中Workspace_HDP_WindowsDesktop_Installer_x.x.x.iso工具的获取地址。 2022-05-25 第十六次正式发布。 新增: 变更规格 修改: 界面总览优化在线人数查询描述。 2022-05-20 第十五次正式发布。 新增: 私有镜像管理 修改: 桌面转镜像修改桌面状态要求。 2022-04-29 第十四次正式发布。 修改: 配置高级策略参数新增Linux根目录挂载策略和移动客户端重定向策略。 修改网络接入方式增加切换网络接入方式的详细操作指导。 2022-04-18 第十三次正式发布。 修改: 配置云桌面和Windows AD网络互通修改需放通的端口。 2022-04-12 第十二次正式发布。 修改: 配置AD域证书认证新增启用AD服务器的LDAPS和导出其根证书的操作引导链接。 2022-03-30 第十一次正式发布。 修改: 管理桌面新增导出桌面列表操作描述。 配置AD域新增配置AD域证书认证的引导描述。 配置云桌面可访问互联网优化操作描述。 新增: 桌面转镜像 OU管理 配置AD域证书认证 2022-03-26 第十次正式发布。 2022-02-28 第九次正式发布。 修改: 调整管理桌面中各任务的呈现形式,新增修改桌面名称操作描述。 新增: 扩容磁盘 2022-01-28 第八次正式发布。 修改: 配置高级策略参数中新增水印特殊字符说明。 2022-01-26 第七次正式发布。 修改: 优化修改业务子网中子网修改描述。 2022-01-24 第六次正式发布。 修改: 修改配置AD域中虚拟私有云用户指南链接。 2022-01-05 第五次正式发布。 修改: 优化新增磁盘内容。 2021-11-22 第四次正式发布。 修改: 优化操作流程描述。 2021-10-29 第三次正式发布。 修改: 优化权限管理描述。 修改云桌面客户端软件包下载地址。 2021-10-14 第二次正式发布。 删除“进入开发者模式”章节。 删除“管理私有镜像”章节。 修改登录方式描述。 2021-09-18 第一次正式发布。
-
操作场景 终端用户通过客户端无法正常打开云应用(提示缺少文件或路径不对),但通过VNC方式或在APS服务器内可以正常打开云应用,需要管理员在管理控制台上修改应用的“命令行参数”配置中的应用路径。 管理员修改启动失败应用的“命令行参数”配置,将APS上应用程序启动依赖的文件或参数配置在管理控制台中应用的命令行参数中。 示例:SPECviewperf 13.0软件。 右键单击软件,选择属性,查看软件的目标位置和起始位置。 目标路径:C:\SPEC\SPECgpc\SPECviewperf13\gui\nw.exe vp13bench 起始位置:C:\SPEC\SPECgpc\SPECviewperf13 在管理控制台中云应用需要添加的命令行参数为起始位置+目标路径后面的参数,如:C:\SPEC\SPECgpc\SPECviewperf13\vp13bench 各个软件的配置参数有差异,请根据实际情况填写。
-
基础监控指标支持列表 对于不同的操作系统桌面类型,支持的监控指标有所差异,具体如表1所示。其中,√表示支持,x表示不支持。 表1 云桌面监控指标支持列表 监控指标 Windows桌面 Linux桌面 CPU使用率 √ √ 内存使用率 √ x 磁盘使用率 √ x 磁盘读带宽 √ √ 磁盘写带宽 √ √ 磁盘读IOPS √ √ 磁盘写IOPS √ √ 带内网络流入速率 √ x 带内网络流出速率 √ x 带外网络流入速率 √ √ 带外网络流出速率 √ √
-
版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。 表1 版本生命周期 消息引擎类型 版本名称 状态 EOM时间 EOS时间 Kafka 1.1.0 在售 暂无计划 暂无计划 2.3.0 EOM 2023年5月5日 2025年上半年 2.7 在售 2024年下半年 2026年下半年 3.x 在售 - - EOM:End of Marketing,停止该版本的销售。 EOS:End of Service & support,停止该版本的服务,建议您在执行作业时选择最新版本的引擎。在该日期之后,不再提供该软件版本的任何技术服务支持。
-
什么是区域、可用区? 区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
-
如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。 “拉美-圣地亚哥”区域位于智利。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
-
专业版服务实例 域名 表1 边缘节点访问域名 区域 域名 端口 华北-北京一 ief2-placement.cn-north-1.myhuaweicloud.com 443 ief2-edgeaccess.cn-north-1.myhuaweicloud.com 443 ief2-telemetry.cn-north-1.myhuaweicloud.com 8102、8149、8065 swr.cn-north-1.myhuaweicloud.com 443 obs.cn-north-1.myhuaweicloud.com 443 ief-agent-software.obs.cn-north-1.myhuaweicloud.com 443 华北-北京四 ief2-placement.cn-north-4.myhuaweicloud.com 443 ief2-edgeaccess.cn-north-4.myhuaweicloud.com 443 ief2-telemetry.cn-north-4.myhuaweicloud.com 8102、8149、8065 swr.cn-north-4.myhuaweicloud.com 443 op-svc-swr-b051-10-38-19-62-3az.obs.cn-north-4.myhuaweicloud.com 443 obs.cn-north-4.myhuaweicloud.com 443 ief-software-north-4.obs.cn-north-4.myhuaweicloud.com 443 华南-广州 ief-placement.cn-south-1.myhuaweicloud.com 443 ief-edgeaccess.cn-south-1.myhuaweicloud.com 443 ief-telemetry.cn-south-1.myhuaweicloud.com 8102、8149、8065 swr.cn-south-1.myhuaweicloud.com 443 op-svc-swr-b051-10-230-33-197-3az.obs.cn-south-1.myhuaweicloud.com 443 obs.cn-south-1.myhuaweicloud.com 443 ief-software-south-1.obs.cn-south-1.myhuaweicloud.com 443 华东-上海一 ief-placement.cn-east-3.myhuaweicloud.com 443 ief-edgeaccess.cn-east-3.myhuaweicloud.com 443 ief-telemetry.cn-east-3.myhuaweicloud.com 8102、8149、8065 swr.cn-east-3.myhuaweicloud.com 443 op-svc-swr-b051-10-147-7-14-3az.obs.cn-east-3.myhuaweicloud.com 443 obs.cn-east-3.myhuaweicloud.com 443 ief-software-east-3.obs.cn-east-3.myhuaweicloud.com 443
-
解决方法 通过实名认证 未通过实名认证的账号,会在控制台顶部提示用户,根据指导完成实名认证即可。 也可单击右上角账号名的“基本信息”,进入“账号中心”,单击左边菜单栏“实名认证”,按照指导完成实名认证。 账号充值 单击控制台上方“费用中心”,查看现金余额是否小于0,单击“充值”,为您的账号进行余额充值。 账号解冻 单击右上角账号名的“基本信息”,进入“账号中心”,查看基本信息或控制台顶部是否提示账号已冻结。如果账号被冻结,请联系人工客服解冻账号。 授予IEF权限 创建用户组、用户并授予IEF权限,具体请参考创建用户并授权使用IEF。
-
15、同一边缘节点多次进行纳管 之前纳管后未正确执行卸载操作(边缘节点以前纳管过,在IEF界面删除边缘节点后,未在边缘节点上卸载) 执行以下命令确认节点上以下组件是否处于运行状态: systemctl status edgecore systemctl status edgemonitor systemctl status edgelogger 如果边缘节点纳管失败,但执行以上命令发现组件仍然处于运行状态,说明之前纳管的组件未正常卸载,请执行以下命令卸载。 cd /opt/edge-installer; sudo ./installer -op=uninstall 存在以下错误情况: 重新纳管边缘节点时,直接将原来的节点的“/opt”目录变为“/opt_old”目录,新建“/opt”目录,后按照IEF提供的指导进行纳管。纳管失败后,执行卸载操作,提示卸载成功,但实际上执行以上命令发现对应组件仍然处于运行状态。这是因为在执行以上卸载操作时,卸载的不是“/opt_old”中安装的IEF组件。如遇该种情况,请先将“/opt”目录恢复,执行卸载操作后再重新开始纳管。请尽量避免该类操作。 卸载完清理残留文件,执行以下命令删除之前纳管的组件、生成的日志和下载的配置文件。 图2 /opt路径下文件 删除红框所示之前纳管的组件:rm -rf /opt/edge-installer、rm -rf /opt/IEF 、rm -rf /opt/IEF_firmware 、rm -rf /opt/IEFpack 、rm -rf /opt/material 删除日志:rm -rf /var/IEF 删除配置文件:rm -rf edge-installer_1.0.10_x86_64.tar.gz ief-node.tar.gz 之前纳管的组件卸载不干净 如果您确认卸载完成,但纳管仍然失败,请重启边缘节点后重试纳管。
-
6、GPU类型边缘节点未安装GPU驱动 如果边缘节点使用GPU,您需要在纳管前安装GPU驱动。IEF当前支持Nvidia Tesla系列P4、P40、T4等型号GPU,支持CUDA Toolkit 8.0至11.0版本对应的驱动。 安装GPU驱动。 IEF当前支持Nvidia Tesla系列P4、P40、T4等型号GPU,支持CUDA Toolkit 8.0至11.0版本对应的驱动。 下载GPU驱动,推荐驱动链接: https://www.nvidia.com/content/DriverDownload-March2009/confirmation.php?url=/tesla/440.33.01/NVIDIA-Linux-x86_64-440.33.01.run&lang=us&type=Tesla 执行如下安装驱动命令。 bash NVIDIA-Linux-x86_64-440.33.01.run 执行如下命令检查GPU驱动安装状态。 nvidia-smi 拷贝GPU驱动文件到指定目录。 以root用户登录边缘节点。 执行如下命令。 nvidia-modprobe -c0 -u 创建文件夹。 mkdir -p /var/IEF/nvidia/drivers /var/IEF/nvidia/bin /var/IEF/nvidia/lib64 拷贝驱动文件。 对于CentOS,依次执行如下命令拷贝驱动文件: cp /lib/modules/{当前环境内核版本号}/kernel/drivers/video/nvi* /var/IEF/nvidia/drivers/ cp /usr/bin/nvidia-* /var/IEF/nvidia/bin/ cp -rd /usr/lib64/libcuda* /var/IEF/nvidia/lib64/ cp -rd /usr/lib64/libEG* /var/IEF/nvidia/lib64/ cp -rd /usr/lib64/libGL* /var/IEF/nvidia/lib64/ cp -rd /usr/lib64/libnv* /var/IEF/nvidia/lib64/ cp -rd /usr/lib64/libOpen* /var/IEF/nvidia/lib64/ cp -rd /usr/lib64/libvdpau_nvidia* /var/IEF/nvidia/lib64/ cp -rd /usr/lib64/vdpau /var/IEF/nvidia/lib64/ 对于Ubuntu,依次执行如下命令拷贝驱动文件: cp /lib/modules/{当前环境内核版本号}/kernel/drivers/video/nvi* /var/IEF/nvidia/drivers/ cp /usr/bin/nvidia-* /var/IEF/nvidia/bin/ cp -rd /usr/lib/x86_64-linux-gnu/libcuda* /var/IEF/nvidia/lib64/ cp -rd /usr/lib/x86_64-linux-gnu/libEG* /var/IEF/nvidia/lib64/ cp -rd /usr/lib/x86_64-linux-gnu/libGL* /var/IEF/nvidia/lib64/ cp -rd /usr/lib/x86_64-linux-gnu/libnv* /var/IEF/nvidia/lib64/ cp -rd /usr/lib/x86_64-linux-gnu/libOpen* /var/IEF/nvidia/lib64/ cp -rd /usr/lib/x86_64-linux-gnu/libvdpau_nvidia* /var/IEF/nvidia/lib64/ cp -rd /usr/lib/x86_64-linux-gnu/vdpau /var/IEF/nvidia/lib64/ 其中,当前环境内核版本号可以使用uname -r命令查看获取,如下所示,请替换为实际取值。 # uname -r 3.10.0-514.e17.x86_64 执行以下命令修改目录权限。 chmod -R 755 /var/IEF
-
9、边缘节点存在多个docker0网桥地址 使用了容器引擎图形化界面的容器后,产生了两个docker0网桥地址,导致IEF服务纳管过程中docker0网桥注册失败,进而导致纳管失败,删除多余的docker0网桥后重新纳管可解决问题。 执行以下命令: ip addr show | grep docker0 如果出现多个IP,说明存在多个docker0网桥,请保留172开头的IP,删除多余的docker0网桥地址。
-
13、边缘节点域名解析异常 请确保您的边缘节点可以解析以下域名: ief2-placement.cn-north-4.myhuaweicloud.com(依据不同的区域,域名不同,例如“华东-上海一”为ief-placement.cn-east-3.myhuaweicloud.com,可以通过cat /opt/IEF/Cert/user_config来查找对应的域名) ief2-edgeaccess.cn-north-4.myhuaweicloud.com(依据不同的区域、不同的服务实例,域名不同,请参考专业版服务实例域名或铂金版服务实例域名获取) 确认命令: ping ief2-edgeaccess.cn-north-4.myhuaweicloud.com ping ief2-placement.cn-north-4.myhuaweicloud.com 如果域名无法解析请配置合适的域名解析服务器,建议配置“114.114.114.114”。
-
14、同一个证书重复在多个边缘节点使用 同一个证书重复在多台机器纳管(同一套证书在不同的边缘节点上注册,且有一台边缘节点处于正常运行状态)。 在IEF界面注册的边缘节点和实际的边缘节点一一对应,请避免只在IEF界面创建一个边缘节点,下载安装包和证书后,重复在多个边缘节点上纳管时使用。 执行如下命令查看是否重复使用证书: cat /var/IEF/sys/log/edge_core.log | grep websocket 若提示node_id已被占用,说明重复使用证书。如下图所示。
-
11、8883端口被防火墙关闭 检查边缘节点防火墙状态。 systemctl status firewalld firewall-cmd --state 回显中,not running表示关闭,running表示开启。 如果防火墙开启,您需要打开8883端口,或关闭防火墙。 打开8883端口。 firewall-cmd --add-port=8883/tcp --permanent systemctl restart firewalld 关闭防火墙。 systemctl disable firewalld systemctl stop firewalld
-
12、边缘节点无法连接IEF 执行如下命令,确认边缘节点是否能连接IEF。 curl -i -k -v https://ief2-edgeaccess.cn-north-4.myhuaweicloud.com:443/ 其中,ief2-edgeaccess.cn-north-4.myhuaweicloud.com为服务实例的edgeaccess域名,不同区域地址不同,请参考专业版服务实例域名或铂金版服务实例域名获取。 如果一直没有回显,则说明边缘节点与IEF网络不通,请确保边缘节点能连接IEF。
-
3、操作系统内核版本过低,部分命令不存在而导致边缘节点安装失败 首先,请参照表2中对边缘节点的要求,查看您的操作系统及内核版本是否符合要求。 执行以下命令确认是否存在操作系统内核版本过低情况: sh /opt/edge-installer/conf/script/parse_user_config.sh node_id 其中,node_id为边缘节点ID。 如果命令报错,则说明操作系统内核版本过低,请升级您的内核版本或重装新版操作系统后再重新纳管边缘节点。
-
4、获取边缘节点操作系统失败 查看安装输出日志,如下最后一行,os字段如果为空,说明获取操作系统信息失败。 2020-01-11 17:00:46.341 +08:00 DEBUG :0 init logger... 2020-01-11 17:00:46.341 +08:00 INFO config/config.go:45 New file source added for configuration: /opt/edge-installer/conf/config.yaml 2020-01-11 17:00:46.341 +08:00 INFO config/config.go:45 New file source added for configuration: /opt/edge-installer/conf/logging.yaml 2020-01-11 17:00:46.351 +08:00 INFO pkg/installer.go:24 start to install 2020-01-11 17:00:46.386 +08:00 INFO placementclient/placementclient.go:61 http_proxy:ProxyNotSet, https_proxy:ProxyNotSet 2020-01-11 17:00:46.437 +08:00 INFO httpclient/httpsclient.go:182 https_proxy: 2020-01-11 17:00:46.479 +08:00 INFO util/util.go:446 system cert file[/opt/IEF/Cert/system/sys_private_cert_crypto.crt] and system key file[/opt/IEF/Cert /system/sys_private_cert_crypto.key] have been inited 2020-01-11 17:00:46.479 +08:00 INFO pkg/installer.go:46 ------------------install--------------- 2020-01-11 17:00:46.479 +08:00 INFO deploy/bootstrap.go:48 install precheck success. 2020-01-11 17:00:46.479 +08:00 INFO deploy/bootstrap.go:54 install preprocess start 2020-01-11 17:00:46.479 +08:00 INFO deploy/deploy.go:39 install preprocess start 2020-01-11 17:00:46.501 +08:00 INFO util/util.go:192 get arch success 2020-01-11 17:00:46.502 +08:00 INFO util/util.go:216 os type is:"euleros" 2020-01-11 17:00:46.502 +08:00 INFO util/util.go:432 installer version [1.0.6] 2020-01-11 17:00:46.516 +08:00 INFO placementclient/placementclient.go:113 body : {"arch":"x86_64","installer_version":"1.0.6","os":"euleros"}
-
8、容器引擎未安装或未启动 执行以下命令确认容器引擎是否启动。 systemctl status docker 如果没有容器引擎的信息,说明容器引擎未安装,请参考表2中的要求安装容器引擎。 如果容器引擎未启动,执行以下命令尝试启动容器引擎。 systemctl restart docker 再次查看容器引擎状态。 如果容器引擎启动正常(状态为active),请重新纳管边缘节点。 如果容器引擎无法正常启动,请优先恢复容器引擎,或者重新安装容器引擎。
-
问题排查 边缘节点纳管失败的原因众多,大部分是因为边缘节点不满足纳管要求或网络不通导致的,请根据如下原因排查。 图1 排查思路 您可以使用edgectl检查边缘节点是否满足纳管要求,检查“/opt/edge-installer”目录下是否存在edgectl文件。 如果存在,则无需下载。 如果不存在,请登录IEF管理控制台,在“总览”页面右侧的“资源下载”中下载对应版本工具,例如“edgectl_x.x.x_x_x86_64.tar.gz”,并解压安装包到“/opt/edge-installer”目录下。 执行如下命令检查边缘节点是否满足纳管要求。 chmod +x /opt/edge-installer/edgectl /opt/edge-installer/edgectl diagnose installation 如果边缘节点不满足要求,则返回如下信息。您可以根据错误码定位解决对应问题,详细信息请参见错误码总览。 Failed to get Docker version. ERROR6102: Make sure that Docker is running. For more information, see IEF documentation. +-------------------------------+ | Installation diagnose failed. | +-------------------------------+ 如果边缘节点满足要求,则返回如下信息。此时您可以根据表1手动排查故障。 +---------------------------------+ | Installation diagnose succeed. | +---------------------------------+ 表1 排查思路 可能原因 处理措施 边缘节点不满足纳管要求 1、边缘节点不满足纳管要求 2、操作系统不支持 3、操作系统内核版本过低,部分命令不存在而导致边缘节点安装失败 4、获取边缘节点操作系统失败 5、AI加速卡类型的边缘节点未安装NPU驱动 6、GPU类型边缘节点未安装GPU驱动 7、目录磁盘满导致安装失败 Docker相关问题 8、容器引擎未安装或未启动 9、边缘节点存在多个docker0网桥地址 网络相关问题 10、8883端口被占用 11、8883端口被防火墙关闭 12、边缘节点无法连接IEF 13、边缘节点域名解析异常 其他问题 14、同一个证书重复在多个边缘节点使用 15、同一边缘节点多次进行纳管 16、纳管边缘节点的命令没有在对应目录下执行
-
可视化成本分析 华为云提供了多种工具来支撑您的可视化需求。 您可以通过费用中心的总览和账单概览,快速了解消费趋势、指定账期的消费组成与分布;还可以通过成本中心的成本分析,按天/按月分析某个时间段内的成本和使用量情况,快速了解消费趋势;也可以通过汇总和过滤机制,进一步的下钻和洞察成本。比如,您可以先按产品类型汇总了解成本占比最高的产品,再通过关联账号、企业项目、成本标签或成本单元,进一步调查已了解Top成本是由谁使用导致的。 图1 成本分析 如果需要获取明细数据与自身云管平台进行集成,实现定制化的成本和使用分析,您还可以订阅账单明细数据或调用客户运营能力API。比如将成本和使用明细与企业的业务运营数据结合,生成业务单位成本KPI。 图2 订阅明细数据
-
拆分公共成本 使用成本单元的公共成本拆分规则,您可以将公共成本(例如共享资源、平台服务、未及时标记的成本)在组织内进行再分配,满足各团队或业务部门公平分配公共成本的需求,明确责任归属,减少不必要的浪费。 成本单元支持的公共成本拆分规则如下: 按比例拆分:按照各目标成本的权重作为分配比例的参考。 平均拆分:将拆分来源的成本平均分配给各拆分目标。 自定义拆分:将拆分来源的成本按照您自定义的比例分配给各拆分目标。 如下图所示,您可以在成本单元详情中,查看公共成本的拆分结果。 图3 公共成本拆分结果
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- ...
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章