华为云用户手册
-
集群监控指标列表 监控的指标ID、指标名称、指标含义以及取值范围参见表1。 监控的测量对象: CSS 集群(本文介绍的是Elasticsearch集群和OpenSearch集群的监控指标列表) 监控的监控周期(原始指标):1分钟 累计值:从节点启动时开始叠加数值,当节点重启后清零重新累计。 表1 云搜索服务 支持的监控指标 指标ID 指标名称 指标含义 取值范围 status 集群健康状态 该指标用于统计测量监控对象的状态。 0,1,2,3 0:集群是100%可用的。 1:数据是完整的,部分副本缺失。高可用性在某种程度上弱化,存在风险,请及时关注集群情况。 2:数据缺失,集群使用时将出现异常。 3:没有获取到集群状态。 disk_util 磁盘使用率 该指标用于统计测量对象的磁盘使用率。 单位:百分比 0-100% max_jvm_heap_usage 最大JVM堆使用率 CS S集群中各个节点的JVM堆使用率的最大值。 单位:百分比。 0-100% max_jvm_young_gc_time 最大JVM Young GC耗时 CSS集群中各个节点的JVM Young GC耗时累计值的最大值。 单位:ms ≥ 0 ms max_jvm_young_gc_count 最大JVM Young GC次数 CSS集群中各个节点的JVM Young GC次数累计值的最大值。 ≥ 0 max_jvm_old_gc_time 最大JVM Old GC耗时 CSS集群中各个节点的JVM Old GC耗时累计值的最大值。 单位:ms ≥ 0 ms max_jvm_old_gc_count 最大JVM Old GC次数 CSS集群中各个节点的JVM Old GC次数累计值的最大值。 ≥ 0 total_fs_size 文件系统总大小 CSS集群的文件系统总大小。 单位:byte ≥ 0 bytes free_fs_size 文件系统可用大小 CSS集群的文件系统可用大小。 单位:byte ≥ 0 bytes max_cpu_usage 最大CPU利用率 CSS集群中各个节点的CPU利用率的最大值。 单位:百分比 0-100% max_cpu_time_of_jvm_process 最大JVM进程使用的CPU时间 CSS集群中各个节点JVM进程使用CPU的时间累计值的最大值。 单位:ms ≥ 0 ms max_virtual_memory_size_of_jvm_process 最大JVM进程使用的虚拟内存大小 CSS集群中各个节点JVM进程可使用的虚拟内存大小的最大值。 单位:byte ≥ 0 bytes max_current_opened_http_count 最大当前打开的HTTP连接数 CSS集群中各个节点打开且尚未关闭的HTTP连接数的最大值。 ≥ 0 max_total_opened_http_count 最大全部打开的HTTP连接数 CSS集群中各个节点打开过的HTTP连接数累计值的最大值。 ≥ 0 indices_count 索引数量 CSS集群的索引数量。 ≥ 0 total_shards_count 分片数量 CSS集群的分片数量。 ≥ 0 primary_shards_count 主分片数量 CSS集群的主分片数量。 ≥ 0 docs_count 文档数量 CSS集群的文档数量。 ≥ 0 docs_deleted_count 被删除的文档数量 CSS集群的被删除的文档数量。 ≥ 0 nodes_count 节点数量 CSS集群的节点数量。 ≥ 0 data_nodes_count 数据节点数量 CSS集群的数据节点数量。 ≥ 0 coordinating_nodes_count 协调节点数量 CSS集群的协调节点数量。 ≥ 0 master_nodes_count Master节点数量 CSS集群的Master节点数量。 ≥ 0 ingest_nodes_count Client节点数量 CSS集群的Client节点数量。 ≥ 0 max_load_average 最大节点Load值 CSS集群中各个节点在操作系统中1分钟平均排队任务数的最大值。 ≥ 0 avg_cpu_usage 平均CPU使用率 CSS集群中各节点CPU利用率的平均值。 单位:百分比 0-100% avg_load_average 平均节点Load值 CSS集群中各节点在操作系统中1分钟平均排队任务数的平均值。 ≥ 0 avg_jvm_heap_usage 平均JVM堆使用率 CSS集群中各节点JVM堆内存使用率的平均值。 单位:百分比 0-100% max_open_file_descriptors 已打开的最大文件描述符数 CSS集群中各个节点已打开的文件描述符数的最大值。 ≥ 0 avg_open_file_descriptors 已打开的平均文件描述符数 CSS集群中各节点已打开的文件描述符数的平均值。 ≥ 0 sum_max_file_descriptors 最大允许的文件描述符数 CSS集群中各节点最大允许的文件描述符数之和。 ≥ 0 sum_open_file_descriptors 已打开的文件描述符数 CSS集群中各节点已打开的文件描述符数之和。 ≥ 0 sum_thread_pool_write_queue Write队列中总排队任务数 写入线程池中的排队任务数。 ≥ 0 sum_thread_pool_search_queue Search队列中总排队任务数 CSS集群中各节点在搜索线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_force_merge_queue ForceMerge队列中总排队任务数 CSS集群中各节点在强制合并线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_write_rejected Write队列中总的已拒绝任务数 CSS集群中各节点在写入线程池中的已拒绝任务数之和。 ≥ 0 sum_thread_pool_search_rejected Search队列中总的已拒绝任务数 CSS集群中各节点在搜索线程池中的已拒绝任务数之和。 ≥ 0 sum_thread_pool_force_merge_rejected Forcemerge队列中总的已拒绝任务数 CSS集群中各节点在强制合并线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_search_queue Search队列中最大排队任务数 CSS集群中各个节点在搜索线程池中的排队任务数的最大值。 ≥ 0 max_thread_pool_force_merge_queue ForceMerge队列中最大排队任务数 CSS集群中各个节点在强制合并线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_write_threads Write线程池总大小 CSS集群中各节点写入线程池的大小之和。 ≥ 0 sum_thread_pool_search_threads Search线程池总大小 CSS集群中各节点搜索线程池的大小之和。 ≥ 0 sum_thread_pool_force_merge_threads ForceMerge线程池总大小 CSS集群中各节点强制合并线程池的大小之和。 ≥ 0 avg_thread_pool_write_queue Write队列中平均排队任务数 CSS集群中各节点在写入线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_search_queue Search队列中平均排队任务数 CSS集群中各节点在搜索线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_force_merge_queue ForceMerge队列中平均排队任务数 CSS集群中各节点在强制合并线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_search_threads Search线程池平均大小 CSS集群中各节点搜索线程池的大小的平均值。 ≥ 0 avg_thread_pool_write_threads Write线程池平均大小 CSS集群中各节点写入线程池的大小的平均值。 ≥ 0 avg_thread_pool_force_merge_threads ForceMerge线程池平均大小 CSS集群中各节点强制合并线程池的大小的平均值。 ≥ 0 avg_thread_pool_write_rejected Write队列中平均已拒绝任务数 CSS集群中各节点写入线程池中的已拒绝任务数的平均值。 ≥ 0 sum_thread_pool_flush_queue Flush队列中总排队任务数 CSS集群中各个节点在Flush线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_flush_rejected Flush队列中总的已拒绝任务数 CSS集群中各节点在Flush线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_flush_queue Flush队列中最大排队任务数 CSS集群中各个节点在Flush线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_flush_threads Flush线程池总大小 CSS集群中各节点Flush线程池的大小之和。 ≥ 0 avg_thread_pool_flush_queue Flush队列中平均排队任务数 CSS集群中各节点在Flush线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_flush_threads Flush线程池平均大小 CSS集群中各节点在Flush线程池中的排队任务数的平均值。 ≥ 0 sum_thread_pool_generic_queue Generic队列中总排队任务数 CSS集群中各个节点在Generic线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_generic_rejecte Generic队列中总的已拒绝任务数 CSS集群中各节点在Generic线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_generic_queue Generic队列中最大排队任务数 CSS集群中各个节点在Generic线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_generic_threads Generic线程池总大小 CSS集群中各节点Generic线程池的大小之和。 ≥ 0 avg_thread_pool_generic_queue Generic队列中平均排队任务数 CSS集群中各节点在Generic线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_generic_threads Generic线程池平均大小 CSS集群中各节点在Generic线程池中的排队任务数的平均值。 ≥ 0 sum_thread_pool_management_queue Management队列中总排队任务数 CSS集群中各个节点在Management线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_management_rejected Management队列中总的已拒绝任务数 CSS集群中各节点在Management线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_management_queue Management队列中最大排队任务数 CSS集群中各个节点在Management线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_management_threads Management线程池总大小 CSS集群中各节点Management线程池的大小之和。 ≥ 0 avg_thread_pool_management_queue Management队列中平均排队任务数 CSS集群中各节点在Management线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_management_threads Management线程池平均大小 CSS集群中各节点在Management线程池中的排队任务数的平均值。 ≥ 0 sum_thread_pool_refresh_queue Refresh队列中总排队任务数 CSS集群中各个节点在Refresh线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_refresh_rejected Refresh队列中总的已拒绝任务数 CSS集群中各节点在Refresh线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_refresh_queue Refresh队列中最大排队任务数 CSS集群中各个节点在Refresh线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_refresh_threads Refresh线程池总大小 CSS集群中各节点Refresh线程池的大小之和。 ≥ 0 avg_thread_pool_refresh_queue Refresh队列中平均排队任务数 CSS集群中各节点在Refresh线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_refresh_threads Refresh线程池平均大小 CSS集群中各节点在Refresh线程池中的排队任务数的平均值。 ≥ 0 sum_thread_pool_obs_searcher_queue OBS Searcher队列中总排队任务数 CSS集群中各个节点在OBS Searcher线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_obs_searcher_rejected OBS Searcher队列中总的已拒绝任务数 CSS集群中各节点在OBS Searcher线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_obs_searcher_queue OBS Searcher队列中最大排队任务数 CSS集群中各个节点在OBS Searcher线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_obs_searcher_threads OBS Searcher线程池总大小 CSS集群中各节点OBS Searcher线程池的大小之和。 ≥ 0 avg_thread_pool_obs_searcher_queue OBS Searcher队列中平均排队任务数 CSS集群中各节点在OBS Searcher线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_obs_searcher_threads OBS Searcher线程池平均大小 CSS集群中各节点在OBS Searcher线程池中的排队任务数的平均值。 ≥ 0 sum_thread_pool_obs_queue OBS队列中总排队任务数 CSS集群中各个节点在OBS线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_obs_rejected OBS队列中总的已拒绝任务数 CSS集群中各节点在OBS线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_obs_queue OBS队列中最大排队任务数 CSS集群中各个节点在OBS线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_obs_threads OBS线程池总大小 CSS集群中各节点OBS线程池的大小之和。 ≥ 0 avg_thread_pool_obs_queue OBS队列中平均排队任务数 CSS集群中各节点在OBS线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_obs_threads OBS线程池平均大小 CSS集群中各节点在OBS线程池中的排队任务数的平均值。 ≥ 0 sum_thread_pool_obs_upload_queue OBS Upload队列中总排队任务数 CSS集群中各个节点在OBS Upload线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_obs_upload_rejected OBS Upload队列中总的已拒绝任务数 CSS集群中各节点在OBS Upload线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_obs_upload_queue OBS Upload队列中最大排队任务数 CSS集群中各个节点在OBS Upload线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_obs_upload_threads OBS Upload线程池总大小 CSS集群中各节点OBS Upload线程池的大小之和。 ≥ 0 avg_thread_pool_obs_upload_queue OBS Upload队列中平均排队任务数 CSS集群中各节点在OBS Upload线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_obs_upload_threads OBS Upload线程池平均大小 CSS集群中各节点在OBS Upload线程池中的排队任务数的平均值。 ≥ 0 sum_thread_pool_obs_download_queue OBS Download队列中总排队任务数 CSS集群中各个节点在OBS Download线程池中的排队任务数之和。 ≥ 0 sum_thread_pool_obs_download_rejected OBS Download队列中总的已拒绝任务数 CSS集群中各节点在OBS Download线程池中的已拒绝任务数之和。 ≥ 0 max_thread_pool_obs_download_queue OBS Download队列中最大排队任务数 CSS集群中各个节点在OBS Download线程池中的排队任务数的最大值。 ≥ 0 sum_thread_pool_obs_download_threads OBS Download线程池总大小 CSS集群中各节点OBS Download线程池的大小之和。 ≥ 0 avg_thread_pool_obs_download_queue OBS Download队列中平均排队任务数 CSS集群中各节点在OBS Download线程池中的排队任务数的平均值。 ≥ 0 avg_thread_pool_obs_download_threads OBS Download线程池平均大小 CSS集群中各节点在OBS Download线程池中的排队任务数的平均值。 ≥ 0 min_free_fs_size 最小可用存储空间 CSS集群中各个节点可用存储空间的最小值。 单位:byte ≥ 0 bytes avg_jvm_old_gc_count JVM老年代平均GC次数 CSS集群中各个节点“老年代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 avg_jvm_old_gc_time JVM老年代平均GC时间 CSS集群中各个节点执行“老年代”垃圾回收所花费的时间累计值的平均值。 单位:ms ≥ 0 ms avg_jvm_young_gc_count JVM年轻代平均GC次数 CSS集群中各个节点“年轻代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 avg_jvm_young_gc_time JVM年轻代平均GC时间 CSS集群中各个节点执行“年轻代”垃圾回收所花费的时间累计值的平均值。 单位:ms ≥ 0 ms avg_max_file_descriptors 最大允许的文件描述符数-平均值 CSS集群中各节点最大允许的文件描述符数的平均值。 ≥ 0 avg_mem_free_in_bytes 平均可用内存空间 CSS集群中各节点未使用的内存容量的平均值。 单位:byte ≥ 0 bytes avg_mem_free_percent 平均可用内存比例 CSS集群中各节点未使用的内存比例的平均值。 单位:百分比 0-100% avg_mem_used_in_bytes 平均已用内存空间 CSS集群中各节点已使用的内存容量的平均值。 单位:byte ≥ 0 bytes avg_mem_used_percent 平均已用内存比例 CSS集群中各节点已使用的内存比例的平均值。 单位:百分比 0-100% max_mem_free_in_bytes 最大可用内存空间 CSS集群中各个节点未使用的内存容量的最大值。 单位:byte ≥ 0 bytes max_mem_free_percent 最大可用内存比例 CSS集群中各个节点未使用的内存比例的最大值。 单位:百分比 0-100% max_mem_used_in_bytes 最大已用内存空间 CSS集群中各个节点已使用的内存容量的最大值。 单位:byte ≥ 0 bytes max_mem_used_percent 最大已用内存比例 CSS集群中各个节点已使用的内存比例的最大值。 单位:百分比 0-100% sum_jvm_old_gc_count JVM老年代总GC次数 CSS集群中各个节点“老年代”垃圾回收的运行次数的累计值之和。 ≥ 0 sum_jvm_old_gc_time JVM老年代总GC时间 CSS集群中各个节点执行“老年代”垃圾回收所花费的时间累计值之和。 单位:ms ≥ 0ms sum_jvm_young_gc_count JVM年轻代总GC次数 CSS集群中各个节点“年轻代”垃圾回收的运行次数的累计值之和。 ≥ 0 sum_jvm_young_gc_time JVM年轻代总GC时间 CSS集群中各个节点执行“年轻代”垃圾回收所花费的时间累计值之和。 单位:ms ≥ 0 ms sum_current_opened_http_count 当前已打开HTTP连接数 CSS集群中各个节点打开且尚未关闭的HTTP连接数之和。 ≥ 0 sum_total_opened_http_count 历史已打开HTTP连接数 CSS集群中各个节点打开过的HTTP连接数累计值之和。 ≥ 0 IndexingLatency 平均索引延迟 分片完成索引操作所需的平均时间。 单位:ms ≥ 0 ms IndexingRate 平均索引速率 入库TPS,集群每秒平均索引操作数。 ≥ 0 SearchLatency 平均查询延迟 分片完成搜索操作所需的平均时间。 单位:ms。 ≥ 0 ms SearchRate 平均查询速率 查询QPS,集群每秒平均查询操作数。 ≥ 0 task_max_running_time 最大Task运行时长 该指标为集群运行的所有task中,运行时长最长的task的耗时 ≥ 0 ms number_of_pending_tasks Pending Task排队任务数 CSS集群中待Master处理的task的排队任务数。 ≥ 0 sum_disk_read_requests_rate 磁盘读总IOPS CSS集群所有节点的磁盘每秒读取数据的请求总次数。 ≥ 0 sum_disk_write_requests_rate 磁盘写总IOPS CSS集群所有节点的磁盘每秒写数据的请求总次数。 ≥ 0 sum_disk_read_bytes_rate 磁盘读总带宽 CSS集群所有节点的磁盘每秒读出数据量。 ≥ 0 sum_disk_write_bytes_rate 磁盘写总带宽 CSS集群所有节点的磁盘每秒写入数据量。 ≥ 0
-
操作步骤 进入购买企业交换机页面。 根据界面提示,配置企业交换机的基本信息,配置参数请参见表1。 表1 参数说明 参数 参数说明 取值样例 计费模式 必选参数 支持包年/包月、按需付费两种计费方式。 购买包年/包月企业交换机时,需要一次性支付选定周期内企业交换机实例的费用。 按需计费,属于后付费。按秒计费,按小时结算,不足一小时以实际使用时长为准。 按需计费 区域 必选参数。 不同区域的云服务产品之间内网互不相通,请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 主可用区 必选参数。 企业交换机实例部署采用主备模式,此处选择主节点所在的可用区。 主可用区是当前承载流量的可用区,推荐与需要通信的云服务器部署在同一个可用区,从而实现更优访问性能。 可用区1 备可用区 必选参数。 企业交换机实例部署采用主备模式,此处选择备节点所在的可用区。 备可用区用于容灾备份,建议与主可用区不同。 可用区2 规格 必选参数。 当前支持的企业交换机规格如下: 小型 最大带宽:3 Gbit/s 最大发包数:500000 pps 连接子网数:1 中型 最大带宽:5 Gbit/s 最大发包数:1000000 pps 连接子网数:3 大型 最大带宽:10 Gbit/s 最大发包数:2000000 pps 连接子网数:6 企业交换机创建完成后,不支持修改规格。 增强型 虚拟私有云 必选参数。 企业交换机所属VPC。 当“隧道连接方式”选择“云专线”或者“VPN”时,此处默认选择云专线虚拟网关或VPN网关所在的VPC。 vpc-01 隧道子网 必选参数。 企业交换机所属VPC的子网,为本端隧道子网,该子网需要与远端隧道子网建立三层网络通信。 隧道子网基于云专线或者VPN实现三层网络通信,包括本端隧道子网和远端隧道子网。企业交换机需要基于隧道子网之间的三层网络,为需要互通的云上和云下子网提供二层连接通道。 subnet-01 本端隧道IP 必选参数。 此处为本端隧道IP,即云上VPC侧的隧道IP,当前支持自动分配或手动分配IP地址。 企业交换机需要和云下IDC建立VXLAN隧道实现二层网络通信,VXLAN隧道两端各需要一个隧道IP,包括本端隧道IP和远端隧道IP,两个IP地址不能冲突。 自动分配 名称 必选参数。 输入企业交换机的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 esw-01 描述 可选参数。 您可以根据需要在文本框中输入对该企业交换机的描述信息。 - 购买时长 包年包月场景需要选择,购买企业交换机的时长。 2个月 自动续费 选择包年包月计费模式时,可以选择开启自动续费。自动续费周期根据用户指定的购买时长确定。 按月购买:自动续费周期为一个月。 按年购买:自动续费周期为一年。 - 单击“下一步”。 在产品配置信息确认页面,再次核对企业交换机信息,确认无误后,单击“提交”,开始创建企业交换机。 企业交换机的创建过程一般需要3~6分钟,当企业交换机的状态为“运行中”时,表示创建成功。
-
操作步骤(锐捷RG-S6250交换机) 远端隧道网关的配置方法:在VXLAN交换机和企业交换机之间建立VXLAN隧道,以便将云下主机发送的二层报文封装为IP报文后发到企业交换机。VXLAN交换机的下行二层子接口配置VXLAN与VLAN封装规则,用来识别用户网络中的报文所属的VXLAN。 配置前进入全局配置模式。 配置示例: Ruijie#configure 创建VXLAN。 配置示 Ruijie(config)#vxlan 5010 本步骤VXLAN ID 5010,必须和表1创建二层连接时,远端接入信息的隧道号保持一致。 进入loopback接口视图,配置隧道IP。 配置示例: Ruijie(config)#interface loopback 0 Ruijie(config-if-Loopback 0)#ip address 2.2.2.2 255.255.255.255 Ruijie(config-if-Loopback 0)# exi 对于新规划的远端地址,即VXLAN交换机的接口IP地址(包括Loopback接口IP地址),要确认下其到企业交换机隧道子网路由是否可达,如果不通,需要在VXLAN交换机上配置路由。此处VXLAN交换机可以是汇聚交换机或者核心交换机,请根据网络实际规划选择。 创建VXLAN隧道。 创建OverlayTunnel1接口,该接口用于静态创建Overlay隧道。 配置示例: Ruijie(config)#interface overlayTunnel 1 指定Overlay隧道的源IP,即为用于建隧道的loopback口IP地址。 配置示例: Ruijie(config-if-OverlayTunnel 1)#tunnel source 2.2.2.2 指定Overlay隧道的目的IP,即为企业交换机隧道子网IP。 配置示例: Ruijie(config-if-OverlayTunnel 1)#tunnel destination 10.0.6.3 Ruijie(config-if-OverlayTunnel 1)#exit 配置VXLAN实例关联OverlayTunnel接口。 配置示例: Ruijie(config)#vxlan 5010 Ruijie(config-vxlan)#tunnel-interface OverlayTunnel 1 Ruijie(config-vxlan)#exit 同一企业交换机上创建多个(最多6个)二层连接场景,需和此企业交换机建多条VXLAN,可以创建多个VXLAN实例和同一个OverlayTunnel接口关联。如:OverlayTunnel1。 同一VXLAN交换机和多个企业交换机连接场景,此场景比较少用,可以创建多个OverlayTunnel接口与同一个VXLAN关联。如:OverlayTunnel1、OverlayTunnel2。 由于芯片限制,S6250产品VXLAN不支持多条隧道出口为同一个物理出口,并且还需要封装出不同的DMAC+VID信息。详情可咨询锐捷交换机技术支持。 创建二层子接口配置VXLAN与vlan封装规则。 在链路聚合口AggregatePort1创建AggregatePort 1.100子接口,接收vlan为100的数据报文,并封装为VXLAN 5010通过隧道转发。 配置示例: Ruijie(config)#interface AggregatePort 1.100 Ruijie(config-subif-AggregatePort 1.100)#encapsulation dot1q s-vid 100 Ruijie(config-subif-AggregatePort 1.100)#encapsulation vxlan 5010 Ruijie(config-subif-AggregatePort 1.100)#exit 在交换机物理以太接口上创建以太网服务实例,方法类似。 在系统视图下,执行如下命令查看VXLAN的配置状态。 show vxlan 5010 VXLAN配置状态 VXLAN 5010 Symmetric property : FALSE Router Interface : - Extend VLAN : - VTEP Adjacency Count: 1 VTEP Adjacency List : Interface Source IP Destination IP Type ---------------------- --------------- --------------- ------- OverlayTunnel 1 2.2.2.2 10.0.6.3 static
-
操作场景 本指导用户在云下IDC侧的VXLAN隧道交换机上配置隧道网关,建立远端二层连接子网在IDC侧的VXLAN隧道。 本文针对用户IDC的常见组网场景提供配置参考,以华为CE6850交换机、锐捷RG-S6250交换机、H3C S6520交换机为例,如需更多配置排查,相关命令可参考实际交换机型号的产品文档。 操作步骤(华为CE6850交换机) 操作步骤(锐捷RG-S6250交换机) 操作步骤(H3C S6520交换机)
-
操作步骤(华为CE6850交换机) 远端隧道网关的配置方法:配置IDC隧道交换机,将二层子网VLAN的流量引流到隧道。 目前大部分CE交换机不支持三层子接口转发已经封装的VXLAN报文,因此VXLAN上行(对接线上企业交换机)不能使用三层子接口,可使用VLANIF接口替代。 登录隧道交换机,执行命令system-view,进入系统视图。 进入loopback 0接口视图,配置隧道IP。 配置示例: interface loopback 0 ip address 2.2.2.2 255.255.255.255 执行命令quit,退出接口视图,返回到系统视图。 执行命令bridge-domain,进入BD视图,配置BD所对应VXLAN的VNI。 配置示例: bridge-domain 10 vxlan vni 5010 执行命令quit,退出BD视图,返回到系统视图。 创建二层子接口,通过子接口将二层网络指定的VLAN引流到隧道。 配置示例: interface 10ge 1/0/2.1 mode l2 encapsulation dot1q vid 100 bridge-domain 10 执行命令interface nve,创建NVE接口,并进入NVE接口视图,配置VXLAN隧道源端VTEP的IP地址:2.2.2.2。 配置示例: interface nve1 source 2.2.2.2 在NVE接口视图下,执行命令vni,配置VNI的头端复制列表。 配置示例: vni 5010 head-end peer-list 10.0.6.3 在系统视图下,执行如下命令查看VXLAN的配置状态。 display vxlan vni 5010 verbose 图2 VXLAN配置状态 up表示隧道状态正常。
-
约束与限制 如果您的IDC需要与华为云企业交换机对接来建立云下和云上二层网络通信,那么IDC侧的交换机需要支持VXLAN功能,建议您新购VXLAN交换机与ESW对接。如果有高可靠性要求,建议VXLAN交换机组进行容灾部署。 以下为您列举部分支持VXLAN功能的交换机,仅供参考。 华为交换机:Huawei CE58、CE68、CE78、CE88系列支持VXLAN,例如CE6870、CE6875、CE6881、CE6863、CE12800。 其他厂商交换机:例如Cisco Nexus 9300、 锐捷RG-S6250、 H3C S6520。
-
操作步骤 进入购买企业交换机页面。 根据界面提示,配置企业交换机的基本信息,配置参数请参见表1。 表1 参数说明 参数 参数说明 取值样例 计费模式 必选参数 支持包年/包月、按需付费两种计费方式。 购买包年/包月企业交换机时,需要一次性支付选定周期内企业交换机实例的费用。 按需计费,属于后付费。按秒计费,按小时结算,不足一小时以实际使用时长为准。 按需计费 区域 必选参数。 不同区域的云服务产品之间内网互不相通,请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 主可用区 必选参数。 企业交换机实例部署采用主备模式,此处选择主节点所在的可用区。 主可用区是当前承载流量的可用区,推荐与需要通信的云服务器部署在同一个可用区,从而实现更优访问性能。 可用区1 备可用区 必选参数。 企业交换机实例部署采用主备模式,此处选择备节点所在的可用区。 备可用区用于容灾备份,建议与主可用区不同。 可用区2 规格 必选参数。 当前支持的企业交换机规格如下: 小型 最大带宽:3 Gbit/s 最大发包数:500000 pps 连接子网数:1 中型 最大带宽:5 Gbit/s 最大发包数:1000000 pps 连接子网数:3 大型 最大带宽:10 Gbit/s 最大发包数:2000000 pps 连接子网数:6 企业交换机创建完成后,不支持修改规格。 增强型 虚拟私有云 必选参数。 企业交换机所属VPC。 当“隧道连接方式”选择“云专线”或者“VPN”时,此处默认选择云专线虚拟网关或VPN网关所在的VPC。 vpc-01 隧道子网 必选参数。 企业交换机所属VPC的子网,为本端隧道子网,该子网需要与远端隧道子网建立三层网络通信。 隧道子网基于云专线或者VPN实现三层网络通信,包括本端隧道子网和远端隧道子网。企业交换机需要基于隧道子网之间的三层网络,为需要互通的云上和云下子网提供二层连接通道。 subnet-01 本端隧道IP 必选参数。 此处为本端隧道IP,即云上VPC侧的隧道IP,当前支持自动分配或手动分配IP地址。 企业交换机需要和云下IDC建立VXLAN隧道实现二层网络通信,VXLAN隧道两端各需要一个隧道IP,包括本端隧道IP和远端隧道IP,两个IP地址不能冲突。 自动分配 名称 必选参数。 输入企业交换机的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 esw-01 描述 可选参数。 您可以根据需要在文本框中输入对该企业交换机的描述信息。 - 购买时长 包年包月场景需要选择,购买企业交换机的时长。 2个月 自动续费 选择包年包月计费模式时,可以选择开启自动续费。自动续费周期根据用户指定的购买时长确定。 按月购买:自动续费周期为一个月。 按年购买:自动续费周期为一年。 - 单击“下一步”。 在产品配置信息确认页面,再次核对企业交换机信息,确认无误后,单击“提交”,开始创建企业交换机。 企业交换机的创建过程一般需要3~6分钟,当企业交换机的状态为“运行中”时,表示创建成功。
-
ESW权限 默认情况下,管理员创建的 IAM 用户没有任何权限,需要将其加入用户组,并给用户组授予角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 ESW部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问ESW时,需要先切换至授权区域。 ESW服务没有独立的系统权限,和VPC共用一套系统权限,VPC系统权限如表1所示,包括了VPC的所有系统角色。由于华为云各服务之间存在业务交互关系,VPC的角色依赖其他服务的角色实现功能。因此给用户授予VPC的角色时,需要同时授予依赖的角色,VPC的权限才能生效。 表1 VPC系统权限 策略名称 描述 策略类别 依赖关系 VPC FullAccess 虚拟私有云的所有执行权限。 系统策略 如果您需要使用VPC流日志功能,则依赖 云日志 服务的只读权限LTS ReadOnlyAccess。 VPC ReadOnlyAccess 虚拟私有云的只读权限。 系统策略 无 VPC Administrator 虚拟私有云的大部分操作权限,不包括创建、修改、删除、查看安全组以及安全组规则。 拥有该权限的用户必须同时拥有Tenant Guest权限。 系统角色 依赖Tenant Guest策略,在同项目中勾选依赖的策略。
-
配额限制 表1 企业交换机配额限制 规格项 默认配额 申请更多配额 每个租户支持创建的企业交换机数量 5个 申请更多配额,请参见提交工单 每个企业交换机支持绑定的VPC数量 1个 不支持修改 每个子网支持连通的二层连接数量 1个 不支持修改 每个“基础型”企业交换机支持建立的二层连接数量 1个 不支持修改 每个“标准型”企业交换机支持建立的二层连接数量 3个 不支持修改 每个“增强型”企业交换机支持建立的二层连接数量 6个 不支持修改
-
使用限制 ESW不支持IPv6报文,且不支持云下往云上转发未知单播、广播、组播(除VRRP协议外)的IP报文。 不支持云下服务器访问云上的高级网络功能,如VPC对等连接、VPC路由表、ELB以及NAT网关等。 对于使用云专线(DC)对接企业交换机的场景,请您先提交工单给云专线服务,确认您的云专线是否支持和企业交换机进行对接,如果不支持,需要联系客服开通云专线的对接企业交换机能力。 对于使用 虚拟专用网络 (VPN)对接企业交换机的场景,请您先提交工单给虚拟专用网络服务,确认您的虚拟专用网络是否支持和企业交换机进行VXLAN对接,如果不支持,需要联系客服开通虚拟专用网络的对接企业交换机能力。 ESW支持对接VPN场景是指经典型VPN,不支持对接专业版VPN和共享型VPN。 云上和云下二层网络互通后,云下子网网关地址要和云上子网网关地址保持一致,否则可能导致云下子网网关地址和云上虚拟机的IP地址冲突,引发通信异常。 每个企业交换机最多支持10000个IP二层互通(即包含通过该企业交换机打通的所有二层网段IP),且最多同时支持连接1000个云下二层网段IP。 使用企业交换机建立云上与云下之间的二层网络时,客户侧负责建设IDC机房的VXLAN网络,包括VXLAN交换机准备、物理网络连通、对接云专线或者虚拟专用网络等。 ESW支持MAC Proxy转发能力,通过ARP报文代理,使云上和云下主机相互不可见对端的实际MAC地址。在业务报文转发时,云上主机收到的云下报文源MAC是二层连接主接口的MAC,云下主机收到的云上报文源MAC是实例隧道口的MAC。如果您的业务场景需要感知实际主机MAC或者有基于MAC的安全策略等,不支持使用ESW。 通常,服务器端会通过ARP学习确定回复报文的目的MAC地址,但是某些主机或硬件设备(如F5负载均衡器)配置了原路径返回能力,回复报文的目的MAC地址取自请求报文的源MAC地址,当通过ESW实现云上云下三层访问场景时,可能会出现网络不通问题,请提前排查。 例如,先通过ESW打通云上和云下192.168.3.0/24网段,当云上主机192.168.2.2/24需要跨网段访问云下主机192.168.3.3/24时,云上请求报文会先通过VPC路由,再经过ESW送往云下主机,云下对应回复报文走路由发回云上,可以经过云专线/VPN。如果云下主机配置了原路径返回,云下回复报文的目的MAC地址不是192.168.3.0/24的网关MAC地址,是取对应请求报文的源MAC地址,即ESW的MAC地址。这样云下回复报文的目的MAC地址错误,导致网络不通。 ESW使用VXLAN协议时,VXLAN协议头占用50个字节,报文长度会增加。请您确保VXLAN报文经过的线下网络设备支持大帧(Jumbo Frames,即MTU大于1500字节的以太网帧)通过,否则会导致大包不通。 不同设备厂商处理大帧的方式不同,其中部分厂商默认大帧放通,例如华为。部分厂商默认大帧不放通,例如思科。 如果您的IDC需要与华为云企业交换机对接来建立云下和云上二层网络通信,那么IDC侧的交换机需要支持VXLAN功能。以下为您列举部分支持VXLAN功能的交换机,仅供参考。 华为交换机:Huawei CE58、CE68、CE78、CE88系列支持VXLAN,例如CE6870、CE6875、CE6881、CE6863、CE12800。 其他厂商交换机:例如Cisco Nexus 9300、 锐捷RG-S6250、 H3C S6520。
-
计费模式 企业交换机支持包年/包月、按需付费两种计费方式。企业交换机的计费情况详细介绍见表1: 表1 企业交换机计费情况说明 计费模式 计费说明 操作ESW对计费项的影响 包年/包月 购买包年/包月ESW时,需要一次性支付选定周期内企业交换机实例的费用,不同规格包周期费用不同,具体以页面实际结算为准。包周期计费企业交换机规格如下: “基础型”规格 “标准型”规格 “增强型”规格 购买后支持退订,扣除实际使用的费用和部分优惠费用,请以实际扣费为准。 按需计费 按需计费的企业交换机:后付费。创建企业交换机实例成功后即开始计费。按秒计费,按小时结算,不足一小时以实际使用时长为准。按需计费企业交换机规格如下: “基础型”规格 “标准型”规格 “增强型”规格 -
-
如何为企业交换机续费,账号欠费后会有什么影响? 当您的账号欠费后,为防止相关资源被冻结或者释放对您的业务产生影响,请您及时在约定时间内支付欠款,详细操作请参考欠费还款。 当您的账号欠费后,会对您的资源使用产生如下影响: 包年/包月资源:当您的包年/包月资源到期未续费,首先会进入宽限期。如果您在宽限期内仍未续订包年/包月资源,那么就会进入保留期。 您无法对处于宽限期或者保留期的包年/包月资源执行任何操作,因此,为了确保您的业务不受影响,请您在资源到期前,及时续费,详细操作请参考续费管理。 按需计费资源:当您的按需资源欠费时,首先会进入宽限期。如果您在宽限期内仍未缴清按需资源的欠费,那么就会进入保留期。 您可以对处于宽限期的按需计费资源正常执行操作,当进入保留期后,您无法对该资源执行任何操作。 关于宽限期和保留期的详细内容,请参见宽限期保留期。
-
操作步骤 选择目标应用,单击图标,单击“编辑”,进入“部署步骤”页面。 单击“权限管理”,切换到“权限管理”页面。 根据使用场景为各角色配置相应操作权限,请根据实际情况进行设置。查看应用级默认权限。 表示权限已开启,去勾选可关闭权限。 表示权限已关闭,勾选可开启权限。 表示权限已开启,且不可修改。 开启“使用项目权限配置”后,该页面的权限信息都不可修改。 应用创建者、项目管理员的权限不能修改。 如果当前用户没有“修改”权限则不能进入编辑页面。 如果当前用户有“修改”权限,但没有“权限管理”权限则无法编辑其他权限。 项目管理员(项目创建者和项目经理)支持自定义角色功能,可对自定义角色的权限进行编辑。 修改完所有信息,单击“保存”,保存该应用。
-
操作步骤 选择目标应用,单击图标,单击“编辑”,进入“部署步骤”页面。 单击“通知订阅”,即可切换到“通知订阅”页面。 设置应用相关事件的通知,请根据实际情况单击(表示开启)/(表示关闭)进行设置。 邮件动态:提供应用动态邮件推送能力,以发送邮件的形式,向应用创建者、执行者和已收藏该应用的成员发送应用动态。 钉钉:提供应用动态钉钉推送能力,填写webhook地址,勾选可触发 消息通知 的应用运行状态,配置通知内容即可。 企业微信:提供应用动态企业微信推送能力,填写webhook地址,勾选可触发消息通知的应用运行状态,配置通知内容即可。 启用加签秘钥:若钉钉自定义机器人安全设置开启加签,请填写加签秘钥。若未使用加签,无需填写加签秘钥。 修改完所有信息,单击“保存”,保存该应用。
-
步骤详情 表1 参数说明 参数项 说明 步骤显示名称 该参数项为必填项。步骤显示名称添加后,会在部署步骤编排区显示该名称。 说明: 步骤名可包含汉字、大小写字母、数字、中划线、下划线、逗号、分号、冒点、/、圆括号(中英文)及空格,但不能以空格开头或结尾,长度为1-128。 Manifest文件来源 该参数项为必填。包括“制品仓库”、“代码仓库”和“obs”三种类型选择。当前情况是已选择“制品仓库”类型。 Manifest文件 该参数项为必填。选择需要部署的Manifest文件,这些文件必须以.yaml、.yml或.json为后缀。 单击按钮,可进入Manifest文件选择页面,选择制品仓库中需要部署的Manifest文件。其中,所属项目默认不可更改,可根据关键字进行Manifest搜索,也可先上传本地Manifest文件到仓库,单击按钮,刷新仓库的文件再选择。选择好Manifest文件后,单击按钮,结束Manifest文件选择。 部署租户 该参数项为必填。包括两个选择: 当前租户:表示将软件包部署到当前租户的CCE集群中发布。 选择“当前租户”,当前租户需要有CCE集群操作权限,如果当前没有CCE集群操作权限,可以通过下方的IAM授权选择已有权限的授权用户进行部署。 其他租户:表示通过IAM授权方式将软件包部署到其他租户的CCE集群中发布。 选择“其他租户”,则必须选择授权租户进行CCE集群部署。 说明: 推荐配置拥有CCE集群操作权限的子账号的AK/SK,不推荐配置租户账号的AK/SK。 IAM授权 该参数项为非必填。如果当前用户无操作权限执行接口时,可通过IAM授权获取到其他用户的临时AK/SK去执行CCE接口。 区域 选择要部署的区域。 集群名称 选择CCE云容器引擎中申请的K8S集群。 命名空间名称 选择CCE云容器引擎中K8S集群的命名空间。 JAVA探针 可协助您快速进行工作负载的问题定位与性能瓶颈分析,详情可参考性能管理配置(性能瓶颈分析) 。 重启自动升级:每次都尝试重新下载镜像。 重启手动升级:如果本地有该镜像,则使用本地镜像,本地不存在时下载镜像。 控制选项 当前步骤部署失败后,应用是否继续部署后续的步骤。 超时时间 指定该步骤最大执行时间,时间单位为分钟。在手动停止应用之前,执行时长大于超时时长,系统将该步骤设置为执行超时状态。取值范围:1-30 。
-
Manifest文件在线编辑 当“Manifest文件来源”为“代码仓库”时,将支持Manifest文件在线编辑功能,单击“Manifest文件”旁的图标,进入在线编辑界面。 修改代码托管中的Manifest文件需要具有相应的角色权限,请参考 代码托管服务 “仓库成员权限”章节。 单击图标,将对Manifest文件的内容进行基本的语法校验,便于您更好地优化代码。 单击图标,将对Manifest文件的内容进行基本的格式优化。 单击图标,将对Manifest文件的内容进行全量复制。 单击图标,将全屏展示Manifest文件的内容,便于您更好地浏览代码。
-
参数使用 下面以具体示例演示介绍如何使用自定义参数。 选择目标应用,单击图标,单击“编辑”,进入“部署步骤”页面。 单击“参数设置”,切换到“参数设置”页面,分别创建环境、枚举、字符串三种类型的自定义参数并打开“运行时设置”。 单击“部署步骤”,切换到“部署步骤”页面,在步骤详情中引用自定义参数。 参数引用形式:${参数名},在参数输入框输入“$”符号后会自动出现已创建的参数列表,根据需要选择对应参数。 例如,配置“选择软件包”项时,可以输入“$”符号带出已配置好的“package_url”参数,并选择该参数。 单击“保存并部署”,在弹窗中可重新对参数进行赋值。 单击“确定”,保存并部署该应用。 在流水线关联应用的时候,可将参数动态绑定; 在运行流水线的时候,输入的参数值会替换到应用中并运行; 在流水线中添加一个类型为部署的任务步骤,选择已配置运行时设置参数的应用,运行流水线时可动态设置。
-
创建并配置参数 介绍应用中自定义参数的创建和配置。 选择目标应用,单击图标,单击“编辑”,进入“部署步骤”页面。 单击“参数设置”,切换到“参数设置”页面。 参数信息说明如下: 基本信息 说明 新建参数 单击“新建参数”,可以新增参数。 名称 参数名称。可修改自定义参数名称。 说明: 自定义参数名称不可与系统预定义参数名称相同。 类型 参数可选类型,包括:字符串类型、枚举类型和环境类型。 默认值 根据需要填写/选择参数值。 说明: 选择环境类型时,如果没有环境,需要手动新建环境。 私密参数 参数为私密参数时,系统会将输入参数做加密存储,使用时进行解密,不可设置“运行时设置”。 运行时设置 打开“运行时设置”开关,表示部署应用时支持变更参数值,并且也会把该参数上报应用。运行时参数需要执行时输入。 参数描述 对本参数的描述。 操作 单击参数所在行,可以删除该参数。 单击“新建参数”,新增一个参数,根据需要自定义参数名称、类型(默认为“字符串”类型)、默认值,设置私密参数及运行时设置等。 字符串类型 参数值为字符串,可在“默认值”列自定义参数值,设置私密参数及运行时设置等。 枚举类型 选中枚举类型后弹出“枚举”对话框,可以设置“可选取值”,如需设置多个,可单击图标添加。如需删除,可单击图标移除。 设置完成后,在“默认值”列的下拉列表选择其中一个值,如下图。 环境类型 该类型参数通过“默认值”列下拉列表选择环境,下拉列表中可选所在应用下创建的所有环境。 如果下拉列表没有可选项,需要在“环境管理”页签新建环境,新建完成后回到参数配置页面,然后单击刷新,将新的环境刷新到下拉列表中即可使用。 修改完所有信息,单击“保存”,保存该应用。
-
编辑参数 选择目标应用,单击图标,单击“编辑”,进入“部署步骤”页面。 单击“参数设置”,切换到“参数设置”页面。 编辑参数 可对已有参数的参数名称、类型、默认值、私密参数、运行时设置、参数描述进行编辑。并可通过单击图标,拖拽参数行,移动参数顺序。 新增参数 单击“新建参数”,可在已有参数的基础上新增参数。同样单击参数操作列的图标,可在当前参数下方,新增一行参数并设置。 删除参数 单击图标,可对已有参数进行删除。
-
操作步骤 选择目标应用,单击图标,单击“编辑”,进入“部署步骤”页面。 添加部署步骤: 单击已添加部署步骤上方或者下方的,页面右侧显示可添加的所有部署步骤,可在当前部署步骤前后添加新的部署步骤。 修改部署步骤详情: 单击目标部署步骤,在界面右侧修改部署步骤详情信息。 复制/删除/禁用部署步骤: 单击图标,单击“复制”,复制该部署步骤到当前应用下。 单击图标,单击“删除”,从当前应用中删除该部署步骤。 单击图标,单击“禁用”,在当前应用中禁用该部署步骤。 调整部署步骤执行顺序: 通过拖拉拽的方式,任意调整部署步骤的执行顺序。 修改完所有信息,单击“保存”,保存该应用。
-
编辑应用基本信息 选择目标应用,单击图标,单击“编辑”,进入“部署步骤”页面。 单击“基本信息”,切换到“基本信息”页面,可根据需要对名称、描述、执行主机等信息进行修改。 表1 参数说明 参数项 说明 名称 必填。应用的名称。 所属项目 默认。该应用的归属项目。如果账号下没有项目请您在项目选择框中选择“新建项目”会先弹出“新建项目”页面,这时建立的项目是Scrum。 描述 可选。对应用的描述。 执行主机 可选。资源池是部署软件包时执行部署命令的物理环境的集合,您可以使用华为云托管的官方资源池,您也可以将自有的服务器作为自托管资源池托管到华为云,托管方式请参考自托管资源池场景。 来自流水线 可选。开启后,只能通过流水线驱动执行,不能单独执行。 注意:如果租户账号已配置“全内网安全访问”功能(仅限白名单用户使用),则“执行主机”功能默认选择“自托管资源池”且不可更改。 修改完所有信息,单击“保存”,保存该应用。
-
操作步骤 选择目标应用,单击图标,单击“编辑”,进入“部署步骤”页面。 单击“环境管理”,切换到“环境管理”页面。 新建环境。 单击“新建环境”,填写以下信息后,单击“保存”,完成环境的创建。 参数项 是否必填 说明 环境名称 是 请输入自定义的环境名称。 资源类型 是 根据您即将部署的环境,可选择“主机”或“Kubernetes”(即将上线)。 操作系统 是 根据即将添加主机的操作系统,可选择“Linux”或“Windows”。 描述 否 请输入对环境的描述。 单击“导入主机”,系统已自动筛选符合当前环境的所有集群,在弹框中选择目标主机集群,可通过以下方式将主机导入环境中。 单独导入:单击某个主机操作列的图标,即可将该主机导入环境中。 批量导入:选中多个主机,单击“导入”,即可将主机批量导入环境中 当选择已绑定代理主机的目标主机进行导入时,该目标主机绑定的代理主机会一同被导入环境中。 (可选)主机导入成功后,可单击页面图标,进行连通性验证。 编辑环境。 对环境进行编辑。 对主机集群进行编辑。 编辑环境:单击某个环境操作列的图标,即可修改环境名称以及描述等信息。 删除环境:单击某个环境操作列的图标,在弹框中单击“确认”,即可完成删除环境操作。 权限管理:单击某个环境操作列的图标,为各角色配置相应操作权限,请根据实际情况开启或关闭权限。 主机集群默认权限说明 角色/权限 查看 编辑 删除 部署 权限管理 环境创建者 有权限且不可修改 有权限且不可修改 有权限且不可修改 有权限且不可修改 有权限且不可修改 项目创建者 有权限且不可修改 有权限且不可修改 有权限且不可修改 有权限且不可修改 有权限且不可修改 项目经理 有权限 有权限 有权限 有权限 有权限 产品经理 有权限 无权限 无权限 无权限 无权限 测试经理 有权限 无权限 无权限 无权限 无权限 运维经理 有权限 有权限 有权限 有权限 有权限 系统工程师 有权限 有权限 有权限 有权限 无权限 Committer 有权限 有权限 有权限 有权限 无权限 开发人员 有权限 有权限 有权限 有权限 无权限 测试人员 有权限 无权限 无权限 无权限 无权限 参与者 有权限 无权限 无权限 无权限 无权限 浏览者 有权限 无权限 无权限 无权限 无权限 对环境下的主机进行编辑。 批量主机连通性验证:选中多个主机,单击页面图标,可进行批量连通性验证。 启动连通性验证:单击某个主机操作列的图标,即可启动该主机进行连通性验证操作。 删除主机:单击某个主机操作列的图标,单击“删除”,在弹框中单击“确认”,即可完成删除主机操作。 代理主机不支持删除操作,当代理主机所代理的最后一台目标主机从环境中删除时,该代理主机会同步被删除。 修改完所有信息,单击“保存”,保存该应用。
-
步骤详情 表1 参数说明 参数项 说明 步骤显示名称 步骤添加后在部署步骤显示的名称。仅支持汉字、英文字母、数字、空格、或-_,;:./()()符号,其中空格不可在名称开头或结尾使用,长度为1-128。 部署租户 当前租户:表示将软件包部署到当前租户的CCE集群中发布。 选择“当前租户”,当前租户需要有CCE集群操作权限,如果当前没有CCE集群操作权限,可以通过下方的IAM授权选择已有权限的授权用户进行部署。 其他租户:表示通过IAM授权方式将软件包部署到其他租户的CCE集群中发布。 选择“其他租户”,则必须选择授权租户进行CCE集群部署。 说明: IAM授权 如果当前用户无操作权限执行接口时,可通过IAM提权获取到其他用户的临时AK/SK去执行CCE接口。 区域 选择要部署的区域。 集群名称 选择CCE云容器引擎中申请的K8S集群。 命名空间名称 选择CCE云容器引擎中K8S集群的命名空间。 工作负载名称 选择需要部署的工作负载。 实例数量 填写需要部署的实例数量。 说明: 若实例数量输入为空,则自动适配CCE集群实时实例数量。 容器名称 选择需要部署的容器实例名。 镜像名称 选择需要部署的镜像。 镜像版本 选择需要部署的镜像版本。 容器规格 可配置目标工作负载中的目标容器的容器规格。 CPU配额 配额申请:容器使用的最小CPU需求,作为容器调度时资源分配的判断依赖。只有当节点上可分配CPU总量 ≥ 容器CPU申请数时,才允许将容器调度到该节点。 配额限制:容器能使用的CPU最大值,如果CPU使用值大于限制值,则容器使用CPU资源可能会被限流。 内存配额 配额申请:容器使用的最小内存需求,作为容器调度时资源分配的判断依赖。只有当节点上可分配内存总量 ≥ 容器内存申请数时,才允许将容器调度到该节点。 配额限制:容器能使用的内存最大值。当内存使用率超出设置的内存限制值时,该实例可能会被重启进而影响工作负载的正常使用。 环境变量 支持配置目标工作负载中的目标容器的环境变量 支持获取容器实时环境变量并同步到当前页面,同步后将覆盖本页面原有环境变量。 JAVA探针 可协助您快速进行工作负载的问题定位与性能瓶颈分析,详情可参考性能管理配置(性能瓶颈分析) 。 重启自动升级:每次都尝试重新下载镜像。 重启手动升级:如果本地有该镜像,则使用本地镜像,本地不存在时下载镜像。 控制选项 当前步骤部署失败后,应用是否继续部署后续的步骤。 超时时间 指定该步骤最大执行时间,时间单位为分钟。在手动停止应用之前,执行时长大于超时时长,系统将该步骤设置为执行超时状态。取值范围:1-30 。
-
SDK概述 对象存储服务软件开发工具包(OBS SDK,Object Storage Service Software Development Kit)是对OBS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用OBS SDK提供的接口函数即可实现使用OBS服务业务能力的目的。 同时,我们针对不同语言的SDK提供了开发指南和API参考。开发指南详细介绍了SDK的安装、开发操作、参数、示例和常见问题处理,API参考提供了各API的所有参数及定义。OBS提供了以下主流语言SDK供开发者使用: 语言 SDK开发指南 API参考 Java Java SDK开发指南 - Python Python SDK开发指南 - C C SDK开发指南 - Go Go SDK开发指南 - BrowserJS BrowserJS SDK开发指南 BrowserJS SDK API参考 .NET .NET SDK开发指南 .NET SDK API参考 Android Android SDK开发指南 Android SDK API参考 iOS iOS SDK开发指南 iOS SDK API参考 PHP PHP SDK开发指南 PHP SDK API参考 Node.js Node.js SDK开发指南 - Harmony Harmony SDK开发指南 -
-
Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头中,从而通过身份认证,获得操作API的权限。Token可通过调用获取用户Token接口获取。 调用本服务API需要项目级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。 { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", //IAM用户名 "password": "********", //IAM用户密码 "domain": { "name": "domainname" //IAM用户所属帐号名 } } } }, "scope": { "project": { "name": "xxxxxxxx" //项目名称 } } } } 获取Token 后,再调用其他接口时,您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。 1 2 3 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/projects Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。
-
AK/SK认证 AK/SK签名认证方式仅支持消息体大小在12MB以内,12MB以上的请求请使用Token认证。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):私有访问密钥。与访问密钥ID结合使用,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。
-
支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 授权范围:自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 对应API接口:自定义策略实际调用的API接口。
-
调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects": [ { "domain_id": "65ewtrgaggshhk1223245sghjlse684b", "is_domain": false, "parent_id": "65ewtrgaggshhk1223245sghjlse684b", "name": "project_name", "description": "", "links": { "next": null, "previous": null, "self": "https://www.example.com/v3/projects/a4adasfjljaaaakla12334jklga9sasfg" }, "id": "a4adasfjljaaaakla12334jklga9sasfg", "enabled": true } ], "links": { "next": null, "previous": null, "self": "https://www.example.com/v3/projects" } }
-
状态码 正常 状态码 说明 200 OK GET和PUT操作正常返回。 201 Created POST操作正常返回。 202 Accepted 请求已被接受。 204 No Content DELETE操作正常返回。 异常 状态码 说明 400 Bad Request 服务器未能处理请求。 401 Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method Not Allowed 请求中指定的方法不被允许。 406 Not Acceptable 服务器生成的响应无法被客户端所接受。 407 Proxy Authentication Required 用户必须首先使用代理服务器进行验证,这样请求才会被处理。 408 Request Timeout 请求超出了服务器的等待时间。 409 Conflict 由于冲突,请求无法被完成。 500 Internal Server Error 请求未完成。服务异常。 501 Not Implemented 请求未完成。服务器不支持所请求的功能。 502 Bad Gateway 请求未完成。服务器从上游服务器收到一个无效的响应。 503 Service Unavailable 请求未完成。系统暂时异常。 504 Gateway Timeout 网关超时。 父主题: 附录
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- ...
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章