检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过LTS仪表盘可视化ELB日志分析结果 当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考日志结构化概述。
云VPC接入LTS。 在云日志服务控制台的左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基本信息页面中,完成如下配置。 任务名称:DSL加工任务的名称,例如test-vpc。 启用状态:默认开启。 源日志流:选择已完成结构化配置的日志组、日志流,即V
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
DSL加工(邀测) DSL加工概述 创建DSL加工任务 父主题: 日志消费与加工
单击操作列下的,删除不需要的转储字段。 单击,添加您需要转储的字段,只能添加一个表字段。 - 完成后单击“确定”。 创建转储任务成功后,支持查看、修改、删除转储任务。 转储任务一旦删除将不再对日志进行转储,请谨慎操作。 删除转储任务后,之前已经转储日志将会继续保存在DLI。 父主题: 日志转储
gent会停止采集日志,因此需要开启“ICAgent采集开关”。 在云日志服务控制台的“接入 > 接入管理”页面,检查已创建成功的配置接入任务状态显示“开启”。 检查日志采集路径是否重复配置。若有重复配置,配置日志接入时需要开启“允许文件多次采集”。若没有开启“允许文件多次采集”,则需要删除重复的采集路径。
数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) LTS支持HTTPS传输协议,保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。 / 日志转储OBS LTS支持将日志转储到对象存储
默认勾选委托授权,创建日志生成指标任务,需要您授权LTS和AOM创建云服务委托:lts_admin_trust、aom_admin_trust 任务监控,开启后会将每次任务执行状态写入日志流lts-system/lts-logtometric-statistics,您可以查看日志生成指标任务监控中心或者
Linux系统的主机。 查询API相关接口文档。 通过查询日志转储API获取到所有转储任务的信息。 通过更新日志转储API将转储任务配置的时区修改。 在API Explorer中测试API功能,API Explorer提供API检索及平台调试能力。 参考API Explorer示例代码,在主机上安装Python
被同时删除。删除日志组会导致用户日志相关业务异常,日志组删除后无法恢复,请谨慎操作。 如果日志组绑定了日志转储任务,删除日志组之前,需要先删除该日志组关联的日志转储任务。 在日志组列表中,单击待删除日志组操作列下的“删除”。 在弹出框中输入“DELETE”后,单击“确定”,完成日志组删除。
生变化,ICAgent将无法保证一定会采集到该轮转文件末尾未被采集的少量日志。 例如:假设您轮转后的文件被压缩,文件名为:/your/log/path/**/*.log.xxx.zip,该文件的文件名和inode都发生变化,则ICAgent将无法保证一定会采集到该轮转文件末尾未被采集的少量日志。
志流删除后无法恢复,请谨慎操作。 删除日志流前请确认该日志流下没有配置日志采集任务,否则删除后可能影响正常的日志上报。 如果日志流绑定了日志转储任务,删除日志流之前,需要先删除该日志流关联的日志转储任务。 在日志流列表中,单击待删除日志流操作列的“删除”。 在弹出框中输入“DEL
/manager/ICProbeAgent/internal/TRACE。 不涉及。 日志丢失/日志重复 采集器使用多种机制保证日志采集的可靠性,尽可能保证数据不丢失,但在如下场景可能导致日志丢失或日志重复。 日志文件未使用CCE提供的logPolicy轮转策略。 日志文件轮转速度过快,如1秒轮转一次。
号或者委托管理员账号对应的目标日志组/日志流中,因此两个账号间的日志组/日志流之间不会互相干扰,可以在各自账号下独立配置转储、消费、加工等任务。 前提条件 已创建组织。更多信息请参考创建组织。 已设置service.LTS为可信服务。更多信息请参考启用、禁用可信服务。 赋予管理账
)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。 表1 系统模板 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 ELB模板 根据ELB资料中提供的日志字段被定义。 否 否 VPC模板 根据VPC资料中提供的日志字段被定义。 否 否 CTS模板 字段名称为json日志中的key。
)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。 表1 系统模板 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 ELB模板 根据ELB资料中提供的日志字段被定义。 否 否 VPC模板 根据VPC资料中提供的日志字段被定义。 否 否 CTS模板 字段名称为json日志中的key。
)。 日志配置结构化,详情请参见设置云端结构化解析日志。 日志生成指标任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“METRIC仪表盘模板 > 日志生成指标任务监控中心”,查看图表详情。 过滤规则ID,所关联的查询分析语句如下所示:
每个用户最多可创建2个访问密钥,不支持增加配额。如果您已拥有2个访问密钥,将无法创建访问密钥。 如需修改访问密钥,请删除访问密钥后重新创建。 为了保证历史兼容性,我们会使用访问密钥创建时间作为最近使用时间的初始值。在您使用该访问密钥时,系统将自动刷新最近使用时间。 单击“立即下载”,生成并下载访问密钥。
应用场景3:运营分析 企业在日常经营中,可以上报各种业务日志(例如移动端日志、服务端日志),经过规整、过滤、脱敏、富化等加工处理后,可以融合大数据平台、BI工具进行业务分析,例如获取页面的PV、UV、用户停留时间、交易金额等,用于了解业务运营状况、分析用户行为特征,基于实时的数据分析反馈
后再进行分裂。支持和其他函数组合使用。 输出事件 e_output、e_coutput 输出日志到指定的日志流代称中(日志流代称在创建加工任务时配置目标日志流时指定),并可配置输出时的tag信息。 e_output:执行到e_output函数时,输出日志到指定的日志流中,且对应的日志不再执行后面的加工规则。