检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志 场景二:使用e_set函数为日志空缺字段赋值
| grep 'retCode\['查询ICAgent的认证日志。 查看认证返回码是200,则代表认证成功,若认证成功还是显示离线请联系技术支持工程师协助。 查看认证返回码不是200,则检查ICAgent安装输入的AK/SK是否正确。若不正确,请执行下一步。 请获取正确的AK/SK
ICAgent是云日志服务的日志采集工具,运行在需要采集日志的主机中。首次使用云日志服务采集日志时,需要安装ICAgent,如果需要采集多台主机的日志,还支持批量安装ICAgent,在云日志服务控制台可以实时查看ICAgent的运行状态。
config." "preciseEndTime" : 0, "preciseStartTime" : 0 } 状态码: 500 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.2016", "error_msg" : "Failed
"LTS.2014", "error_msg" : "template_id is invalid!" } 状态码: 500 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.2014", "error_msg" : "Failed
VPC日志流中记录了虚拟私有云中的流量信息,可以帮助您检查和优化安全组和网络ACL控制规则、监控网络流量、进行网络攻击分析等。 云日志服务支持日志采集向导一站式采集VPC日志,并为VPC日志配置结构化和仪表盘。该仪表盘主要展示VPC日志的Action总次数,ACCEPT总字节数、
管理LTS主机组 裸金属服务BMS文本日志接入LTS 云容器引擎CCE应用日志接入LTS 云主机ECS文本日志接入LTS ServiceStage容器应用日志接入LTS ServiceStage云主机日志接入LTS 自建K8s应用日志接入LTS ICAgent结构化解析规则说明 父主题:
/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。更多关于日志采集路径的说明请参见:配置日志采集规则。 LTS控制台上的“配置中心 > ICAgent采集开关”未开启。在“配置中心
由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系统的历史记录收集,以免泄露隐私。安装后ICAg
获取组织成员汇聚配置 功能介绍 只能由组织管理员或者委托管理员调用 获取组织成员汇聚配置 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/lts/log-converge-config/{member_account_id} 表1 路径参数 参数
中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
更新汇聚配置 功能介绍 只能由管理员或者委托管理员 ,更新汇聚配置 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/lts/log-converge-config 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
与其他云服务的关系 云日志服务与其他服务之间关系,如表1所示。 表1 与其他服务之间关系 交互功能 相关服务 通过CTS服务,您可以记录与云日志服务相关的操作事件,便于日后的查询、审计和回溯。 云审计服务(Cloud Trace Service,简称CTS) 通过OBS服务,您可
示在年份粒度上覆盖为year参数的值;如果传递的是years,表示在年份粒度上增加years参数的值。同时要一起组合使用的dt_add函数支持在特定时间粒度上修改(增加、减少、覆盖)日期时间的值。 dt_add中weekday参数通常和dt_MO、dt_TU等参数一起使用,表示特定星期几的偏移,如下例所示。
示例1:创建日志组 场景描述 本章以创建一个LTS的日志组为例。 涉及其它云服务接口 无。 创建日志组 接口相关信息 URI格式:POST /v2/{project_id}/groups 请求示例 POST https://{endpoint}/v2/{project_id}/groups
直观、简单、方便。 如果内容较多,规则会相对冗长。且静态不灵活。 从任务配置资源构建 内容较多且经常修改时推荐使用,易于维护。 不易于扩展和跨任务复用,不支持自动刷新。 从表格构建 高级场景下使用,维护机制更灵活。 需要构建和维护对应的表格,过程相对繁琐。 从字典函数构建 基于逻辑动态构建字典,特定场景下适用。
示例2:查询账号下所有日志组 场景描述 本章以查询账号下所有日志组信息为例。 涉及其它云服务接口 无。 查询日志组 接口相关信息 URI格式:GET /v2/{project_id}/groups 请求示例 GET https://{endpoint}/v2/{project_id}/groups
获取组织成员日志组日志流 功能介绍 只能由管理员或者委托管理员调用,获取组织成员日志组日志流 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/lts/{member_account_id}/all-streams 表1 路径参数 参数 是否必选
日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 采集Syslog汇聚服务器日志到LTS 将自建ELK日志导入云日志服务LTS 基于VPN打通网络实现API或SDK跨云上报日志到LTS