检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例5:创建OBS转储 场景描述 本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。 创建OBS转储 接口相关信息 URI格式:POST /v2/{project_id}/log-dump/obs
已从maven仓库获取lts-flink-connector-1.0.3.1.jar包, 创建Flink Jar作业时需要上传lts-flink-connector-1.0.3.1.jar的程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,具体操作请参考创建程序包。
year:表示需要替换的年份,例如year=2020,默认为None。 years:表示需要增加年份的数量,如years=1表示在原来year的基础上再增加一年。 day/days Number 否 day:表示需要替换的天,例如day=1,默认为None。 days:表示需要增加天的
用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点: 用户有多条日志流需要转换成不同的日志流结构,一个函数只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函数工作流服务,且还需要独立收费,长期使用增加成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。
参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 被统计的原字符串。 sub 任意(自动转为String) 是 需要统计个数的字符。 start Number 否 字符串开始搜索的位置。 0(默认值):第一个字符。 -1:最后一个字符。 end Number
开通了云审计服务后,系统开始记录LTS资源的操作。云审计服务管理控制台保存最近7天的操作记录。 开通云审计服务 云审计服务的开通请参见开通云审计服务。 开通云审计服务后,如果需要查看LTS相关操作事件,请参见查询审计事件。 云审计支持的LTS操作列表 表1 云审计服务支持的LTS操作列表 操作名称 资源类型 事件名称
马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。 需要开通管道符后,使用日志搜索与分析(管道符方式-邀测)时,对应的WAF仪表盘模板支持查看WAF安全日志中心和查看WAF访问日志中心。 前提条件
由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和IAM用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VP
查看认证返回码是200,则代表认证成功,若认证成功还是显示离线请联系技术支持工程师协助。 查看认证返回码不是200,则检查ICAgent安装输入的AK/SK是否正确。若不正确,请执行下一步。 请获取正确的AK/SK后重新安装ICAgent。请参考如何获取AK/SK?。 父主题: 主机管理
、日志转储流量计费结算费用。 按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。 如您需要快速了解LTS服务的具体价格,请参见LTS价格详情。 父主题: 计费模式
Service,简称CTS) 通过OBS服务,您可以将需要长期存储的日志转储至OBS桶中,确保日志不丢失,实现数据持久化。 对象存储服务(Object Storage Service,简称OBS) 通过DIS服务,您可以将需要长期存储的日志转储至DIS,DIS可以将大量日志文件传
在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用漏斗图展示查询数据。在通用配置下方,参考表1配置参数。 图1 漏斗图
否 String 日志单行序列号,第一次查询时不需要此参数,后续分页查询时需要使用,可从上次查询的返回信息中获取。line_num应在start_time 和end_time之间。 若已开启自定义时间功能,在使用该字段的同时,还需要增加__time__字段共同进行分页查询。 最小长度:19
String 告警行动规则名称 说明: alarm_action_rule_name和notification_save_rule可以选填一个,如果都填,优先选择alarm_action_rule_name 表5 SqlRequest 参数 参数类型 描述 is_time_range_relative
not in 作为语法关键词使用时,前后需要使用空格分隔; 如果日志中本身包含语法关键词且需要搜索时,搜索语句需要用双引号包裹,否则可能会导致语法错误或搜索到错误的结果。 例如:搜索语句content:and, 包含语法关键词 and ,需要修改为content:"and"。 短语搜索
在“ICAgent采集开关”页签,确认ICAgent采集开关是否开启。若没有开启,则需要开启ICAgent采集开关。 检查最近一次下发的ICAgent采集开关配置。 登录ICAgent所在的ECS主机。 执行cd /var/ICAgent进入ICAgent日志目录。 执行如下命令,查询日志采集配置。
查看LTS实时日志 日志接入云日志服务后,每隔大约1分钟上报一次。因此,在实时日志页面,您最多需要等待1分钟左右,即可查看实时上报的日志,实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时,LTS会清空前500KB的日志,保留最新的500KB日志。 若
云日志服务提供函数加工,您可以基于函数服务提供的函数模板或者自定义函数,实现日志规整、流转、脱敏、过滤等功能。 目前此功能仅支持以下局点,其他局点需要提交工单申请使用。详细操作请参考提交工单。 华北-北京四、华东-上海一、华南-广州、华东-上海二、华北-乌兰察布二零二、华北-北京一、华北
查看LTS实时日志 日志接入云日志服务后,每隔大约1分钟上报一次。因此,在实时日志页面,您最多需要等待1分钟左右,即可查看实时上报的日志,实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时,LTS会清空前500KB的日志,保留最新的500KB日志。 若
已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,只需要支付少量的存储费用即可。当您分散存储数据,面临日志数据不完善时,您可以从OBS中获取数据。日志服务数据加工支持使用res_obs_file