检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ICAgent:ICAgent是华为云日志服务的日志采集器,通过在主机上安装ICAgent,您可以将日志采集到LTS。安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。 网络互通: 场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。
使用ICAgent插件采集ECS文本日志到云日志服务 云日志服务(Log Tank Service,LTS)提供一站式的日志数据解决方案,支持日志的采集、日志存储、搜索分析、日志加工、可视化仪表盘、日志告警等功能。LTS提供稳定可靠的服务,您可无需关注扩缩容等资源问题,同时降低了日志
10\ncity:nanjing,Maki,18"), "name",["city", "age"]) 从OBS资源构建 e_search_table_map(tab_parse_csv(res_obs_file("https://obs.xxx.myhuaweicloud.com","dsl-test-xx"
原始日志流量:原始日志数据的大小。 基础转储流量:开启日志转储计费功能后,才会显示基础转储流量。日志转储不需要字段映射,转储算力消耗少,例如转储OBS/DMS/DIS。 高级转储流量:开启日志转储计费功能后,才会显示高级转储流量。日志转储需要字段映射,转储算力消耗较多,例如转储DWS/DLI。
日志转储限制 本文介绍云日志服务转储的限制。 表1 日志转储限制 类别 限制项 说明 备注 转储OBS 单个日志流转储任务数量 1 个日志流只能配置一个转储OBS任务。 不涉及。 转储周期 2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 不涉及。 每次转储数据大小 0MB-2GB。
添加日志转储至OBS als addLogPailToOBS 修改日志转储至OBS als updateLogPailToOBS 删除日志转储至OBS als deleteLogPailToOBS 批量启动暂停周期性日志转储 als batchActionLogPailToOBS 创建指标过滤器
ss融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
lts:logs:list - √ x OBS转储 POST /v2/{project_id}/log-dump/obs lts:transfers:create obs:bucket:CreateBucket obs:bucket:HeadBucket obs:bucket:GetLifecycleConfiguration
云审计服务(Cloud Trace Service,简称CTS) 通过OBS服务,您可以将需要长期存储的日志转储至OBS桶中,确保日志不丢失,实现数据持久化。 对象存储服务(Object Storage Service,简称OBS) 通过DIS服务,您可以将需要长期存储的日志转储至DIS,
归档日志(用于等保合规):典型保存180天以上,用于安全合规审计,该日志一般转储存放到对象存储中。使用对象存储的迁移工具,将第三方云厂商保存在对象存储中的文件迁移到华为云对象存储服务OBS即可。详细操作请参考迁移第三方云厂商数据至OBS。 父主题: 产品咨询问题
在LTS页面升级ICAgent失败怎么办? 因为ICAgent安装是覆盖式安装,无需先卸载,因此在LTS页面升级ICAgent失败时,重新执行安装命令再次进行升级ICAgent即可。 详细请参考安装ICAgent。 父主题: 主机管理
lts:transfers:create 创建日志转储 obs:bucket:PutBucketAcl obs:bucket:GetBucketAcl obs:bucket:GetEncryptionConfiguration obs:bucket:HeadBucket dis:streams:list
关闭日志流的“日志存储时间”:日志的存储时间使用日志组设置的日志存储时间。 超出存储时间的日志将会被自动删除,您可以按需将日志数据转储至OBS桶中进行长期存储。 目前仅支持白名单用户提交工单申请开通日志存储时间为1095天,但是存量Region需要根据底层资源评估是否支持1095天。
在数据化运营的过程中,发现数据采集困难,例如: 多渠道:各种渠道数据分散,例如广告商、推广人员等。 多终端:网页版、公众账号、手机、浏览器(Web、移动端页面)等。 异构网:VPC、用户自建IDC,华为云ECS等。 多开发语言:核心系统Java、前端Nginx服务器、后台支付系统C++。
RVICE STOP怎么办? 在LTS页面升级ICAgent失败怎么办? 在LTS页面无法查询新产生的日志怎么办? ICAgent安装完成后反复重启怎么办? 在LTS页面完成ICAgent安装后显示离线怎么办? ICAgent安装完成后,在LTS页面不显示怎么办? 如何在VPCEP控制台创建终端节点?
LTS-Grafana插件。 安装日志服务(LTS-Grafana)插件 执行以下命令将云日志服务grafana插件项目压缩包解压到Grafana插件目录。 使用YUM或RPM安装的Grafana: unzip LTS-Grafana-OBS-Static.1.0.10.zip -d
在LTS页面完成ICAgent安装后显示离线怎么办? 在LTS页面完成ICAgent安装后显示离线,请按如下步骤检查: 检查ICAgent网络连接是否正常。 登录ICAgent所在的主机。 执行netstat -nap | grep icagent,检查ICAgent进程网络连接
解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。 ua_parse_all 解析User-Agent中所有信息。 url_parse 解析URL的组成部分。 url_parse_qs
附录 状态码 错误码 获取账号ID、项目ID、日志组ID、日志流ID OBS转储时区表
已配置结构化数据,当前仅支持已配置结构化的数据进行处理。 限制条件 单个用户最多可创建10个日志指标规则,所有规则中添加的指标总数不能超过10。 创建日志指标规则 登录云日志服务控制台。 在左侧导航栏中选择“日志加工”。 在“生成指标”页签,单击“创建规则”。 配置日志的基本信息。 填写规则名称,最多256位,只能包含字母、数字、下划线、中划线。