云服务器内容精选
-
智能冷存储 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用,其他局点暂不支持该功能。 云日志 服务(LTS)提供冷存储和标准存储功能。冷存储费用低,响应速度慢,对长期存储的数据进行冷存储。可以在日志流创建或修改页面,开启智能冷存储功能,将标准存储层数据转为冷存储。 在日志流创建或修改页面,开启智能冷存储功能,将标准存储层数据转为冷存储。 在开启智能冷存储功能后,如果标准存储时间增大,冷数据的存储时间仅对最新数据生效,冷存储数据不会重新转为标准存储。 在开启智能冷存储功能后,在可视化日志、仪表盘、定时SQL的查询时间范围查询日志时,不支持查询涉及冷存储的时间段,需将查询时间设置为标准存储的时间范围。 表2 冷存储和标准存储区别 对比项 标准存储 冷存储 适用场景 数据高频查询场景 数据低频查询场景 查询与分析性能 高,秒级返回 较低,存在8S延迟 可视化、仪表盘等 高,秒级返回 不支持此功能 存储价格 0.000479元/GB/小时 0.000208元/GB/小时
-
创建日志流 登录云日志服务控制台。 单击日志组名称对应的按钮。 单击“创建日志流”,在创建日志流页面,参考表1填写日志流相关信息。 若您的组织已经设定云日志服务的相关标签策略,则需按照标签策略规则为日志组、日志流、日志接入、主机组添加标签。标签如果不符合标签策略的规则,则可能会导致日志组、日志流、日志接入、主机组创建失败,请联系组织管理员了解标签策略详情。标签策略详细介绍请参考标签策略概述,标签管理详细介绍请参考标签管理。 表1 日志流参数说明 参数 说明 日志组名称 默认显示目标日志组名称。 日志流名称 日志流名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 日志采集后,以日志流为单位,将多条日志数据发往云日志服务。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。 企业项目 选择业务需要的企业项目,默认为default。也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 日志存储 开启日志存储:日志将会被存入搜索引擎,能使用日志全量功能。 关闭日志存储:日志不会落盘存储,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 说明: 若关闭日志存储,则无法开启日志存储时间。 目前此功能仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 日志存储时间(天) 日志流的存储时间。 关闭开关: 使用日志组的日志存储时间。 打开开关: 使用日志流的日志存储时间。 智能冷存储 开启日志存储时间后,根据业务需要设置智能冷存储功能。详细请参考智能冷存储。 说明: 开启智能冷存储需要日志存储时间大于7天。 标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据,当保存时间大于标准层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 匿名写入 匿名写入默认关闭,适用于安卓/IOS/小程序/浏览器端上报日志,打开匿名写入则表示该日志流打开匿名写入权限,不会经过有效鉴权,可能产生脏数据。关于SDK使用请参考SDK接入。 标签 按照业务需求对不同的日志流添加对应的标签,单击添加标签,分别填写标签键key和标签值value。 说明: 如需添加多个标签可重复该步骤。 如需删除标签可单击标签操作列的。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。 备注 自定义填写备注信息,字符长度0-1024个字符。 单击“确定”,完成日志流的创建。在日志流列表中,可以查看日志流名称、操作等信息。 支持查看日志流计费状态,日志计费请参考价格计算器。 按日志流维度上报话单功能目前在友好用户内测中,您可以提交工单申请开通。
-
修改日志流 日志流默认的存储时间和日志组保持一致。 在日志流列表中,单击待修改日志流所在行的按钮。 在弹出框中,支持修改日志流名称、日志存储时间等信息。 图1 修改日志流 关闭开关:日志流会使用日志组配置的日志存储时间。 打开开关:使用日志流配置的日志存储时间。 超出存储时间的日志将会被自动删除,您可以按需将日志数据转储至OBS桶中进行长期存储。 目前白名单用户的日志存储时间支持1095天,如有需要,请提交工单申请。 单击“确定”。 修改完成后,鼠标悬浮在日志流名称上,显示修改后日志流名称和日志流原始名称。 图2 日志流名称
-
删除日志流 如果日志流不再需要使用,可以删除日志流,日志流删除后,日志流中的日志数据将被同时删除。日志流删除后无法恢复,请谨慎操作。 删除日志流前请确认该日志流下没有配置日志采集任务,否则删除后可能影响正常的日志上报。 如果日志流绑定了日志转储任务,删除日志流之前,需要先删除该日志流关联的日志转储任务。 在日志流列表中,单击待删除日志流所在行的。 在弹出框中输入“DELETE”后,单击“确定”,完成日志流删除。 图3 删除日志流
-
参数解析 表1 RDS for PostgreSQL慢日志相关的参数解析 参数名称 说明 log_min_duration_statement 设置最小执行时间,执行时间大于等于这个值的语句都将被记录。 参数值变小会导致日志记录增加,进而增加磁盘I/O消耗,降低SQL性能。 log_statement 设置记录语句的类型,允许值为:none、ddl、mod、all。 该参数默认值为“none”,如果修改为“all”,有以下影响: 消耗数据库磁盘I/O,降低SQL性能。 使日志格式发生变化,用户无法在管理控制台查看慢日志。 log_statement_stats 控制是否向服务器日志里输出性能统计信息。 该参数默认值为“off”,如果修改为“on”,有以下影响: 消耗数据库磁盘I/O,降低SQL性能。 使日志格式发生变化,用户无法在管理控制台查看慢日志。
-
请求示例 查询项目id为9d80d070b6d44942af73c9c3d38e0429,防火墙id为2af58b7c-893c-4453-a984-bdd9b1bd6318,开始时间为1664159069544,结束时间为1664162669544,初始位置为0的第一页的数据 https://{Endpoint}/v1/9d80d070b6d44942af73c9c3d38e0429/cfw/logs/access-control?fw_instance_id=2af58b7c-893c-4453-a984-bdd9b1bd6318&start_time=1664159069544&end_time=1664162669544&limit=10
-
响应示例 状态码: 200 OK { "data" : { "limit" : 10, "records" : [ { "action" : "deny", "app" : "PING", "dst_ip" : "100.85.216.211", "dst_port" : 59, "hit_time" : 1664164255000, "log_id" : "46032", "protocol" : "ICMP: ECHO_REQUEST", "rule_id" : "c755be1c-4b92-4ae7-a15e-c2d02b152538", "rule_name" : "eip_ipv4_w_n_default_deny", "src_ip" : "100.95.148.49", "src_port" : 24954, "src_province_id" : "source province id", "src_province_name" : "source province name", "src_city_id" : "source city id", "src_city_name" : "source city name", "dst_province_id" : "dst province id", "dst_province_name" : "dst province name", "dst_city_id" : "dst city id", "dst_city_name" : "dst city name" } ], "total" : 1 } } 状态码: 400 Bad Request { "error_code" : "CFW.00500002", "error_msg" : "时间间距错误" }
-
URI GET /v1/{project_id}/cfw/logs/access-control 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目id 表2 Query参数 参数 是否必选 参数类型 描述 fw_instance_id 是 String 防火墙实例id,创建 云防火墙 后用于标志防火墙由系统自动生成的标志id,可通过调用查询防火墙实例接口。 rule_id 否 String 规则ID start_time 是 Long 开始时间,以毫秒为单位的时间戳,如1718936272648 end_time 是 Long 结束时间,以毫秒为单位的时间戳,如1718936272648 src_ip 否 String 源IP src_port 否 Integer 源端口 dst_ip 否 String 目的IP dst_port 否 Integer 目的端口 protocol 否 String 协议类型,包含TCP, UDP,ICMP,ICMPV6等。 app 否 String 应用协议 log_id 否 String 文档ID,第一页为空,其他页不为空,其他页可取上一次查询最后一条数据的log_id next_date 否 Integer 下个日期,当是第一页时为空,不是第一页时不为空,其他页可取上一次查询最后一条数据的start_time offset 否 Integer 偏移量:指定返回记录的开始位置,必须为数字,取值范围为大于0,首页时为空,非首页时不为空 limit 是 Integer 每页显示个数,范围为1-1024 log_type 否 String 日志类型包括:internet,vpc,nat 枚举值: internet nat vpc enterprise_project_id 否 String 企业项目id,用户支持企业项目后,由企业项目生成的id。 dst_host 否 String 目标主机 rule_name 否 String 规则名称 action 否 String 动作包含permit,deny src_region_name 否 String 源region名称 dst_region_name 否 String 目的region名称 src_province_name 否 String 源省份名称 dst_province_name 否 String 目的省份名称 src_city_name 否 String 源城市名称 dst_city_name 否 String 目的城市名称
-
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data data object 查询访问控制日志返回数据 表5 data 参数 参数类型 描述 total Integer 返回数量 limit Integer 每页显示个数,范围为1-1024 records Array of records objects 记录 表6 records 参数 参数类型 描述 action String 动作0:permit,1:deny rule_name String 规则名称 rule_id String 规则ID hit_time Long 命中时间,以毫秒为单位的时间戳,如1718936272648 src_region_id String 源区域id src_region_name String 源区域name dst_region_id String 目的区域id dst_region_name String 目的区域name log_id String 文档ID src_ip String 源IP src_port Integer 源端口 dst_ip String 目的IP dst_port Integer 目的端口 protocol String 协议类型:TCP为6,UDP为17,ICMP为1,ICMPV6为58,ANY为-1,手动类型不为空,自动类型为空 app String 应用协议 dst_host String 目标主机 src_province_id String 源省份id src_province_name String 源省份名称 src_city_id String 源城市id src_city_name String 源城市名称 dst_province_id String 目的省份id dst_province_name String 目的省份名称 dst_city_id String 目的城市id dst_city_name String 目的城市名称 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512
-
使用须知 内部连接的操作不记录审计日志。 始终审计的命令:BigKeys keys flushall flushdb script client config 。 只审计大批量的命令(单次命令操作参数较多): bitop msetnx pfcount pfmerge hdel hmget hmset hset lpush lpushx sadd srem zadd geoadd geohash bfinsert bfmadd bfmexists 。 Exec 只审计单次事务过大的操作(超过100个命令)。
-
日志说明 日志命名规则:播放 域名 _日志时间.log.gz 日志生成规则:日志默认按5分钟粒度进行分割,若域名无请求,则不会产生日志数据包。正在进行拉流的直播日志一般4个小时后才能获取到最完整的日志文件。 日志格式: 标准直播场景: [time_local]|play_domain|client_ip|cdn_ip|url|http_code|cache_hit|scheme|method|period_bytes_sent|period_duration|ua|refer|app|stream 低时延直播场景: [time_local]|play_domain|client_ip|cdn_ip|url|http_code|cache_hit|scheme|method|period_bytes_sent|period_duration|ua|refer|app|stream 若某字段不涉及或为空时,用-表示;若字段信息中存在空格,则空格需带上英文双引号""。 日志示例: 标准直播场景 [06/Mar/2023:06:51:26 +0800]|pullexample.huaweicloud.com|49.1.1.*|42.11.1.2|http://pullexample.huaweicloud.com/live/stream-123.flv|200|HIT|HTTP|GET|1024|4|Lavf/58.12.100|-|live|stream-123 低时延直播场景: [06/Mar/2023:06:51:26 +0800]|pullexample.huaweicloud.com|49.1.1.*|42.11.1.2|webrtc://pullexample.huaweicloud.com/live/stream-123.sdp|200|HIT|WebRTC|GET|1024|4|Lavf/58.12.100|-|live|stream-123 各字段的含义如表1所示。 表1 日志字段含义说明 字段名 字段含义 字段示例 time_local 通用日志格式下的本地时间,标记本次统计的时间值。 [06/Mar/2023:06:51:26 +0800] play_domain CDN加速 域名。 pullexample.huaweicloud.com client_ip 客户端IP。 49.1.1.* cdn_ip 播放用户接入的CDN节点IP。 42.11.1.2 url 完整的访问url。 标准直播 http://pullexample.huaweicloud.com/live/stream-123.flv 低时延直播 webrtc://pullexample.huaweicloud.com/live/stream-123.sdp http_code HTTP状态码。 200 cache_hit 缓存命中状态,有如下两种: HIT MISS HIT scheme 访问协议,有如下四种: HTTP HTTPS RTMP WebRTC 标准直播:HTTP、HTTPS或RTMP 低时延直播:WebRTC method HTTP方法 GET period_bytes_sent 周期内发送字节数,对应的统计周期时间为period_duration。 1024 period_duration 统计周期,单位:s,精度到秒。 4 ua User - Agent信息。 Lavf/58.12.100 refer Referer信息。 - app 挂载点 live stream 流名 stream-123
-
注意事项 CDN目前仅支持推送中国大陆节点(域名服务范围为中国大陆)的日志到云日志服务的华北-北京四region。CDN其余地区节点的日志推送功能正在规划,请关注产品动态。 CDN节点实时日志推送暂不收费(后续是否会收费请关注产品动态),基础存储与分析相关费用由云日志服务(LTS)收取。 受网络、节点物理硬件等的影响,引起的部分日志有延迟属于正常波动,实时日志也会存在小概率的延迟。 实时日志不可用于计费、对账等场景。 对接LTS后,如果您的域名上量超过20%,请提前5天提交工单请运维人员介入,以免影响正常使用。
-
实时日志字段 表2 实时日志字段说明 字段 字段含义 是否一定有值 缺省值 request_time 请求时间戳,单位:毫秒 是 无 domain 请求的域名 是 无 method 请求方法 是 无 scheme 请求协议 是 无 uri 请求资源 是 无 uri_param 请求参数 否 "-" client_ip 用户真实IP 是 无 client_port 和CDN节点建连客户端端口 是 无 refer_protocol HTTP refer中的协议 否 "-" refer_domain HTTP refer中domain信息 否 "-" refer_uri HTTP refer中uri信息 否 "-" refer_param HTTP refer中的参数信息 否 "-" request_size 请求大小 是 无 response_time 请求响应时长,单位:毫秒 是 无 response_size 请求返回大小,单位:字节 是 无 http_code 请求响应码 是 无 response_range 应答头里表示的range信息(由源站创建),如bytes:0~99/200 是 无 request_range 用户请求中Header头中range字段取值,如bytes:0~100 是 无 request_body_bytes 实际发送body大小,单位:字节 是 无 content_type 请求的资源类型 是 无 hit_info 命中信息,取值为HIT(命中)、MISS(未命中) 是 无 user_agent UA 否 "-" uuid 请求唯一标识(全网唯一请求ID,即traceid) 是 无 via_info via头信息 否 "-" X-Forwarded-For 请求头中X-Forwarded-For字段 否 "-"
-
为什么要看实时日志 实时日志可以帮助您分析加速域名遇到的异常问题,也可以帮助您了解用户的访问情况。实时日志的优势如下: 当前CDN控制台可为用户展示的离线日志是延时了6个小时的日志,而实时日志延时较小,可以帮助您更快速的对终端用户访问日志进行分析。 传统离线日志需要您先将离线日志包下载、解压再对日志进行分析处理,过程比较繁琐。华为云已打通与云日志服务间的通信链路,采用流式传输,免去了传统日志繁琐的下载分析流程。 云日志服务已部署CDN专属的可视化仪表盘,您可以一键开启,将CDN原始日志可视化呈现。 离线日志目前默认提供访问时间、状态码等13个字段,实时日志默认提供 日志分析 常用的25个字段,详见实时日志字段。
-
响应示例 { "total": 1, "log_files": [{ "status": "ENABLE", "file_name": "d289e7f024d741698fb94d73316874ffin14_collector_20220506_155941.tar.gz", "start_time": "1651820343244", "end_time": "1651823943244", "file_size": "62", "file_link": "***" }] }
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格