云服务器内容精选

  • 智能冷存储 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用,其他局点暂不支持该功能。 云日志服务LTS 提供冷存储和标准存储功能。冷存储费用低,响应速度慢,对长期存储的数据进行冷存储。 在日志流创建或修改页面,开启智能冷存储功能,将标准存储层数据转为冷存储。 在开启智能冷存储功能后,如果标准存储时间增大,冷存储数据的存储时间仅对最新数据生效,冷存储数据不会重新转为标准存储。 在开启智能冷存储功能后,在可视化日志、仪表盘、定时SQL的查询时间范围查询日志时,不支持查询涉及冷存储的时间段,需将查询时间设置为标准存储的时间范围。 表2 冷存储和标准存储区别 对比项 标准存储 冷存储 适用场景 数据高频查询场景 数据低频查询场景 查询与分析性能 高,秒级返回 较低,存在8S延迟 可视化、仪表盘等 高,秒级返回 不支持此功能 存储价格 0.000479元/GB/小时 0.000208元/GB/小时
  • 创建日志流 登录 云日志 服务控制台。 单击日志组名称对应的。 单击“创建日志流”,在创建日志流页面,参考表1填写日志流相关信息。 若您的组织已经设定云日志服务的相关标签策略,则需按照标签策略规则为日志组、日志流、日志接入、主机组添加标签。标签如果不符合标签策略的规则,则可能会导致日志组、日志流、日志接入、主机组创建失败,请联系组织管理员了解标签策略详情。标签策略详细介绍请参考标签策略概述,标签管理详细介绍请参考标签管理。 表1 日志流参数说明 参数 说明 日志组名称 默认显示目标日志组名称。 日志流名称 日志流名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 企业项目 选择业务需要的企业项目,默认为default。也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 日志存储 若关闭日志存储,则无法开启日志存储时间。 开启“日志存储”:日志将会被存入搜索引擎,能使用日志全量功能。 关闭“日志存储”:日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 日志存储时间(天) 日志流的存储时间,即日志上报到LTS后日志存储的时间。 日志数据默认存储30天,可以在1~365天之间设置。 打开日志流的“日志存储时间”:日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”:日志的存储时间使用日志组设置的日志存储时间。 智能冷存储 开启日志存储时间后,根据业务需要设置智能冷存储功能。详细请参考智能冷存储。 说明: 开启智能冷存储需要日志存储时间大于7天。 标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签”,分别填写标签键key和标签值value。 说明: 如需添加多个标签可重复该步骤,最多支持添加20个标签。 如需删除标签可单击标签操作列的“删除”。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。 匿名写入 匿名写入默认关闭,适用于安卓/IOS/小程序/浏览器端上报日志,打开匿名写入则表示该日志流打开匿名写入权限,不会经过有效鉴权,可能产生脏数据。关于SDK使用请参考SDK接入。 备注 自定义填写备注信息,字符长度0-1024个字符。 单击“确定”,完成日志流的创建。在日志流列表中,可以查看日志流名称、操作等信息。 支持查看日志流计费状态,日志计费请参考价格计算器。 按日志流维度上报话单功能目前在友好用户内测中,您可以提交工单申请开通。
  • 修改日志流 日志流默认的存储时间和日志组保持一致。 在日志流列表中,单击待修改日志流操作列的“修改”。 在弹出框中,支持修改日志流名称、日志存储时间、标签等信息。 关闭开关:日志流会使用日志组配置的日志存储时间。 打开开关:使用日志流配置的日志存储时间。 超出存储时间的日志将会被自动删除,您可以按需将日志数据转储至OBS桶中进行长期存储。 目前白名单用户的日志存储时间支持1095天,如有需要,请提交工单申请。 单击“确定”。 修改完成后,鼠标悬浮在日志流名称上,显示修改后日志流名称和日志流原始名称。
  • 删除日志流 如果日志流不再需要使用,可以删除日志流,日志流删除后,日志流中的日志数据将被同时删除。日志流删除后无法恢复,请谨慎操作。 删除日志流前请确认该日志流下没有配置日志采集任务,否则删除后可能影响正常的日志上报。 如果日志流绑定了日志转储任务,删除日志流之前,需要先删除该日志流关联的日志转储任务。 在日志流列表中,单击待删除日志流操作列的“删除”。 在弹出框中输入“DELETE”后,单击“确定”,完成日志流删除。 图1 删除日志流
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data data object 查询访问控制日志返回数据 表5 data 参数 参数类型 描述 total Integer 查询访问控制日志记录总数 limit Integer 每页显示个数,范围为1-1024 records Array of records objects 查询访问控制日志记录 表6 records 参数 参数类型 描述 action String 动作0:permit,1:deny rule_name String 规则名称 rule_id String 规则id hit_time Long 命中时间,以毫秒为单位的时间戳,如1718936272648 src_region_id String 源区域id src_region_name String 源区域name dst_region_id String 目的区域id dst_region_name String 目的区域name log_id String 文档ID src_ip String 源IP src_port Integer 源端口 dst_ip String 目的IP dst_port Integer 目的端口 protocol String 协议类型:TCP为6,UDP为17,ICMP为1,ICMPV6为58,ANY为-1,手动类型不为空,自动类型为空 app String 规则应用类型包括:“HTTP”,"HTTPS","TLS1",“DNS”,“SSH”,“MYSQL”,“SMTP”,“RDP”,“RDPS”,“VNC”,“POP3”,“IMAP4”,“SMTPS”,“POP3S”,“FTPS”,“ANY”,“BGP”等。 dst_host String 目标主机 src_province_id String 源省份id src_province_name String 源省份名称 src_city_id String 源城市id src_city_name String 源城市名称 dst_province_id String 目的省份id dst_province_name String 目的省份名称 dst_city_id String 目的城市id dst_city_name String 目的城市名称 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述
  • 响应示例 状态码: 200 查询访问控制日志返回值 { "data" : { "limit" : 10, "records" : [ { "action" : "deny", "app" : "PING", "dst_ip" : "100.85.216.211", "dst_port" : 59, "hit_time" : 1664164255000, "log_id" : "46032", "protocol" : "ICMP: ECHO_REQUEST", "rule_id" : "c755be1c-4b92-4ae7-a15e-c2d02b152538", "rule_name" : "eip_ipv4_w_n_default_deny", "src_ip" : "100.95.148.49", "src_port" : 24954, "src_province_id" : "source province id", "src_province_name" : "source province name", "src_city_id" : "source city id", "src_city_name" : "source city name", "dst_province_id" : "dst province id", "dst_province_name" : "dst province name", "dst_city_id" : "dst city id", "dst_city_name" : "dst city name" } ], "total" : 1 } } 状态码: 400 Bad Request { "error_code" : "CFW.00500002", "error_msg" : "时间间距错误" }
  • 请求示例 查询项目id为9d80d070b6d44942af73c9c3d38e0429,防火墙id为2af58b7c-893c-4453-a984-bdd9b1bd6318,开始时间为1664159069544,结束时间为1664162669544,初始位置为0的第一页的数据 https://{Endpoint}/v1/9d80d070b6d44942af73c9c3d38e0429/cfw/logs/access-control?fw_instance_id=2af58b7c-893c-4453-a984-bdd9b1bd6318&start_time=1664159069544&end_time=1664162669544&limit=10
  • URI GET /v1/{project_id}/cfw/logs/access-control 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID, 可以从调API处获取,也可以从控制台获取。项目ID获取方式 表2 Query参数 参数 是否必选 参数类型 描述 fw_instance_id 是 String 防火墙id,可通过防火墙ID获取方式获取 rule_id 否 String 规则id,可通过查询防护规则接口查询获得,通过返回值中的data.records.rule_id(.表示各对象之间层级的区分)获得。 start_time 是 Long 开始时间,以毫秒为单位的时间戳,如1718936272648 end_time 是 Long 结束时间,以毫秒为单位的时间戳,如1718936272648 src_ip 否 String 源IP src_port 否 Integer 源端口 dst_ip 否 String 目的IP dst_port 否 Integer 目的端口 protocol 否 String 协议类型,包含TCP, UDP,ICMP,ICMPV6等。 app 否 String 规则应用类型包括:“HTTP”,"HTTPS","TLS1",“DNS”,“SSH”,“MYSQL”,“SMTP”,“RDP”,“RDPS”,“VNC”,“POP3”,“IMAP4”,“SMTPS”,“POP3S”,“FTPS”,“ANY”,“BGP”等。 log_id 否 String 文档ID,第一页为空,其他页不为空,其他页可取上一次查询最后一条数据的log_id next_date 否 Integer 下个日期,当是第一页时为空,不是第一页时不为空,其他页可取上一次查询最后一条数据的start_time offset 否 Integer 偏移量:指定返回记录的开始位置,必须为数字,取值范围为大于0,首页时为空,非首页时不为空 limit 是 Integer 每页显示个数,范围为1-1024 log_type 否 String 日志类型包括:internet,vpc,nat enterprise_project_id 否 String 企业项目ID,用户根据组织规划企业项目,对应的ID为企业项目ID,可通过如何获取企业项目ID获取,用户未开启企业项目时为0 dst_host 否 String 目标主机 rule_name 否 String 规则名称 action 否 String 动作包含permit,deny src_region_name 否 String 源region名称 dst_region_name 否 String 目的region名称 src_province_name 否 String 源省份名称 dst_province_name 否 String 目的省份名称 src_city_name 否 String 源城市名称 dst_city_name 否 String 目的城市名称
  • 请求示例 POST https://{Endpoint}/v3/619d3e78f61b4be68bc5aa0b59edcf7b/redis/instances/a6d3c8a9857b4c81b3c1fe4802dfa4d0in12/slow-logs { "start_time" : "2022-09-06T10:41:14+0800", "end_time" : "2022-09-16T10:41:14+0800", "limit" : 100, "line_num" : "1595659490239433658", "operate_type" : "set", "node_id" : "2997329fe3cb4b3faedcade16df6966eno12", "keywords" : [ "log", "test" ], "max_cost_time" : 100.12, "min_cost_time" : 50.12 }
  • 响应示例 状态码: 200 Success { "slow_logs": [{ "node_name": "test_worker_node_1", "node_id": "dbd0b65ed0c34125a0b04d4e5ba67e66no02", "whole_message": "testDb", "operate_type": "SET", "cost_time": 60.12, "log_time": "2022-09-15T22:49:38.643000Z", "line_num": "1595659490239433659" }] }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 slow_logs Array of objects 慢日志具体信息。详情请参考表5。 表5 RedisSlowLogDetail 参数 参数类型 描述 node_name String 节点名称。 node_id String 节点ID。 whole_message String 执行语句。 operate_type String 语句类型。 cost_time Double 执行时间。单位:ms。 log_time String 日志产生时间,UTC时间。格式为“yyyy-mm-ddThh:mm:ssZ”。其中,T指某个时间的开始;Z指时区偏移量,例如北京时间偏移显示为+0800。 line_num String 日志单行序列号。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 表3 请求Body参数 参数 是否必选 参数类型 描述 start_time 是 String 开始时间,格式为“yyyy-mm-ddThh:mm:ssZ”。 其中,T指某个时间的开始;Z指时区偏移量,例如北京时间偏移显示为+0800。 注:开始时间不得早于当前时间30天。 end_time 是 String 结束时间,格式为“yyyy-mm-ddThh:mm:ssZ”。 其中,T指某个时间的开始;Z指时区偏移量,例如北京时间偏移显示为+0800。 注:结束时间不能晚于当前时间。 limit 是 Integer 表示每次查询的日志条数,最大限制100条。 line_num 否 String 日志单行序列号,第一次查询时不需要此参数,下一次查询时需要使用,可从上一次查询的返回信息中获取。说明:当次查询从line_num的下一条日志开始查询,不包含当前line_num日志。 operate_type 否 String 语句类型,取空值,表示查询所有语句类型。支持查询的所有语句类型如下(以“、”分割):set、get、del、incr、incrby、incrbyfloat、decr、decrby、getset、append、mget、keys、setnx、setex、psetex、delvx、mset、 msetnx、getrange、substr、setrange、strlen、exists、expire、pexpire、expireat、pexpireat、ttl、pttl、persist、type、 scanx、pksetexat、sort、hdel、hset、hget、hgetall、hexists、hincrby、hincrbyfloat、hkeys、hlen、hmget、hmset、hsetnx、 hstrlen、hvals、hscan、hscanx、pkhscanrange、pkhrscanrange、lindex、linsert、llen、lpop、lpush、lpushx、lrange、lrem、 lset、ltrim、rpop、rpoplpush、rpush、rpushx、zadd、zcard、zscan、zincrby、zrange、zrevrange、zrangebyscore、 zrevrangebyscore、zcount、zrem、zunionstore、zinterstore、zrank、zrevrank、zscore、zrangebylex、zrevrangebylex、 zlexcount、zremrangebyrank、zremrangebyscore、zremrangebylex、zpopmax、zpopmin、sadd、spop、scard、smembers、sscan、 srem、sunion、sunionstore、sinter、sinterstore、sismember、sdiff、sdiffstore、smove、srandmember、bitset、bitget、 bitcount、bitpos、bitop、bitfield、pfadd、pfcount、pfmerge、geoadd、georadiusbymember、georadius、geohash、geodist、 geopos、xadd、xack、xgroup、xdel、xtrim、xlen、xrange、xrevrange、xclaim、xpending、xinfo、xread、xreadgroup。 node_id 否 String 节点ID,取空值,表示查询实例下所有允许查询的节点。具体取值请参考表10中的“id”。 keywords 否 Array of strings 根据多个关键字搜索日志全文,表示同时匹配所有关键字。 最多支持10个关键字。 每个关键字最大长度不超过512个字符。 max_cost_time 否 Double 支持根据最大执行时间范围查找日志。单位:ms。 min_cost_time 否 Double 支持根据最小执行时间范围查找日志。单位:ms。
  • 采集日志 日志采集可以实时将 CSS 集群日志存放到本集群或其他同网络的集群中,方便通过Kibana进行日志搜索分析。 如果要使用日志采集功能,集群必须满足以下条件。当集群不满足要求时,建议先升级集群再启用日志采集。 集群版本是Elasticsearch 7.10.2、OpenSearch 1.3.6或OpenSearch 2.11.0。 集群的镜像版本号 ≥ 24.2.0。集群的镜像版本号可以在集群列表的“版本”列查看,如图所示。 图2 查看集群子版本号 登录 云搜索服务 管理控制台。 在“集群管理”页面,单击需要配置日志备份的集群名称,进入集群基本信息页面。 左侧导航栏,选择“日志管理”,在“日志采集开关”右侧单击开关,打开集群的日志采集功能。 如果页面上没有“日志采集开关”,则表示该集群不支持采集日志。 在“日志采集配置”弹窗中,完成参数配置。 表2 日志采集配置 参数 说明 索引前缀名称 设置采集的日志中索引名称的前缀,则日志采集的索引名称为“索引前缀名称+日志采集日期”,日志采集日期以天为单位。 索引前缀名称只支持数字、小写字母、下划线和中划线,支持1~128个字符。 保留周期 设置采集的日志的保留周期,单位为天,支持输入1~3650。当采集的日志超过保存周期时,日志将会被删除。 日志保存集群 设置采集的日志保存在哪个集群,支持选择“当前集群”和“其他集群”。 默认选择“当前集群”。当选择“其他集群”时,需要选择日志保存的目标集群,并进行集群网络联通行检查,只有在同一VPC网络下的集群才支持跨集群保存日志,且集群版本必须一致。 如果集群已经启用了日志采集功能,也可以单击右侧的编辑图标修改日志采集配置。 单击“确定”,开启集群日志采集开关。 当“状态”变成“运行中”时,表示已启动日志采集。 单击“访问Kibana”,登录集群,可以搜索查看日志。 单击“日志保存集群”处的集群名称,可以跳转到集群详情页面。 图3 日志采集 当需要关闭日志采集时,单击“日志采集开关”右侧的开关,在弹窗中单击“确定”,关闭日志采集。 日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。
  • 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation.log 弃用操作的日志记录。 clustername_index_indexing_slowlog.log 慢索引日志。 clustername_index_search_slowlog.log 慢索引查询日志。 clustername.log Elasticsearch运行日志。 clustername_access.log 接入日志。
  • 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation.log 弃用操作的日志记录。 clustername_index_indexing_slowlog.log 慢索引日志。 clustername_index_search_slowlog.log 慢索引查询日志。 clustername.log Elasticsearch运行日志。 clustername_access.log 接入日志。