检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,只需要支付少量的存储费用即可。当您分散存储数据,面临日志数据不完善时,您可以从OBS中获取数据。日志服
随着产品的不断发展,CCE标准输出日志采集到应用运维管理(AOM)已不推荐使用。如果该配置不符合您的使用要求,须在云日志服务(LTS)控制台进行关闭。推荐您将CCE标准输出日志直接采集到云日志服务(LTS),由LTS对日志进行统一管理。 关闭CCE标准输出到AOM后,您在云日志服务(
确认ICAgent采集开关是否开启。 登录云日志服务控制台。 选择“配置中心”。 在“ICAgent采集开关”页签,确认ICAgent采集开关是否开启。若没有开启,则需要开启ICAgent采集开关。 检查最近一次下发的ICAgent采集开关配置。 登录ICAgent所在的ECS主机。 执行cd
若有回显结果,表示资源有异常,请根据实际回显情况排查处理。 若没有回显结果,表示资源使用正常。 查询历史日志文件,检查资源占用是否异常。 zgrep 'icagent exit' *.zip 若有回显结果,表示资源有异常,请根据实际回显情况排查处理。 若没有回显结果,表示资源使用正常。 查询ICAg
icagent命令,查看没有ICAgent进程,则确认没有安装过ICAgent。 首次安装(Linux环境) 首次安装(Windows环境) 继承安装(Linux环境支持) 您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,对于没有安装ICAge
create_time Long 创建时间,为毫秒时间戳 最小值:0 最大值:1700000000000 modify_time Long 更新时间,为毫秒时间戳 最小值:0 最大值:1700000000000 project_id String 项目ID,获取方式请参见:获取账号
中选择已创建的委托名称。待剩余参数配置完成后,单击“立刻购买”即可。 在管理信息下方的“委托”后,单击,选择已创建的委托名称,单击即可生效。更多关于委托的信息,请参见委托其他账号管理资源。 父主题: 主机管理
接入中心”,单击“跨账号接入-日志流映射”进行跨账号接入配置。 或在左侧导航栏中,选择“接入 > 接入管理 > 接入日志”,单击“跨账号接入-日志流映射”进行跨账号接入配置。 或在左侧导航栏中,选择“日志管理”,单击目标日志流的名称进入日志详情页面。单击右上角,在弹出页面中,选择“日志接入”页签
管理日志流 云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日
create_time Long 创建时间,为毫秒时间戳 最小值:0 最大值:1700000000000 modify_time Long 更新时间,为毫秒时间戳 最小值:0 最大值:1700000000000 project_id String 项目ID,获取方式请参见:获取账号
API凭证”。 获取需要上报到LTS的日志组ID和日志流ID。 日志流需要开启匿名写入功能。详细操作请参考管理日志流。 版本更新说明 表1 版本更新说明 版本号 更新说明 1.0.24 支持更多region:华东-上海一、华南-广州。 1.0.23 新增支持快应用上报。 1.0.21 废弃config方法,优先使用new
false }, { "field_name" : "ssl_protocol", "is_analysis" : false }, { "field_name" : "ssl_cipher", "is_analysis" : false
安全的退出 // 如果消费者突然关闭, 没有调用shutdown方法; 或者调用shutdown方法之后, 没有等待一定的时间. 那么可能造成下次消费时, 会有一定的重复数据, 因为消费者后台的异步任务没有保存checkPoint点 Thread.sleep(60
查看LTS实时最新日志,每一次加载数据时延是多久? 在LTS控制台查看LTS实时最新日志,正常情况下,每隔5秒加载一次。如果这5秒内没有产生日志,则不显示;5秒后会继续调用接口,刷新出产生的日志数据。即如果每5秒都有日志数据产生,则加载数据时延为5秒。 父主题: 日志搜索与分析
false }, { "field_name" : "ssl_protocol", "is_analysis" : false }, { "field_name" : "ssl_cipher", "is_analysis" : false
> 接入管理”页面,检查已创建成功的配置接入任务状态显示“开启”。 检查日志采集路径是否重复配置。若有重复配置,配置日志接入时需要开启“允许文件多次采集”。若没有开启“允许文件多次采集”,则需要删除重复的采集路径。 检查实时日志是否上报。 登录云日志服务控制台,进入日志管理页面。 单击目标日志流名称,进入日志详情页面。
日志流需要开启匿名写入功能。详细操作请参考管理日志流。 版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。 您集成和使用我们的SDK时需要遵从个人信息保护基本要求,详情请参考华为云日志服务移动端日志采集SDK开发者合规指南。 表1 版本更新说明 版本号 下载地址 更新说明 系统
日志转储 创建日志转储(旧版) 创建日志转储(新版) 删除日志转储 更新日志转储 查询日志转储 注册DMS kafka实例 父主题: API说明
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
一个字段名或者多个字段名的列表。多个字段时: 依次对匹配到的值进行映射。 如果匹配命中多条日志,且mode的取值为overwrite时,则最后一个会覆盖前面的结果。 当没有匹配到任何字段,则使用missing参数的值作为匹配值。 output_field String 是 输出字段的名称。 case_insensitive