检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
VPCEP控制台,进入终端节点页面。 单击“购买终端节点”。 在购买终端节点页面,选择终端节点所在的区域,“服务类别”选择“云服务”,在“选择服务”下方查找并选择AOM的云服务,并且勾选“创建内网域名”,选择终端节点所在的虚拟私有云和子网,其他参数默认设置。更多操作请参考购买终端节点。 设置完
日志组管理 创建日志组 查询账号下所有日志组 删除日志组 修改日志组 父主题: API说明
null None None ["v1", "v2", "v3"] ["v1", "v2", "v3"] 列表 ["v1", 3, 4.0] ["v1", 3, 4.0] 列表 {"v1": 100, "v2": "good"} {"v1": 100, "v2": "good"} 字典
parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。 实践案例 原始日志 { "account":"Sf24asc4ladDS" } OBS Bucket中的CSV文件数据 表1 CSV文件数据 id account
SQL函数 目前此功能处于邀测中,暂不支持用户开通,邀测期间可能会偶现查询慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
使用DSL加工函数处理日期时间 处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换
带有时区信息的日期时间字符串通过在日期时间后添加额外的时差信息来表达时区: 2019-06-02 18:41:26+08:00表示该时间是东8区时区下的2019-06-02 18:41:26。 2019-06-02 18:41:26-07:00表示该时间是西7区时区下的2019-06-02 18:41:26。
在Windows环境下ICAgent安装失败并提示SERVICE STOP怎么办? 在LTS页面升级ICAgent失败怎么办? 在LTS页面无法查询新产生的日志怎么办? ICAgent安装完成后反复重启怎么办? 在LTS页面完成ICAgent安装后显示离线怎么办? ICAgent安装完成后,在LTS页面不显示怎么办?
日志格式错误或者日志中的projectId(项目ID)、logGroupId(日志组ID)、logStreamId(日志流ID)与外部设置参数不一致。 参数获取方式 表5 区域表 区域名称 RegionName 华北-北京四 lts-kafka.cn-north-4.myhuaweicloud.com 华东-上海一
脱敏方法有正则表达式替换(关键函数regex_replace)、Base64转码(关键函数base64_encoding)、MD5编码(关键函数md5_encoding)、str_translate映射(关键函数str_translate)等。更多信息,请参见正则表达式函数和编码解码函数。
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
分裂规则: 如果配置了jmes参数,则将日志字段的值转化为JSON列表,并使用JMES提取值作为下一步的值。如果没有配置jmes参数,则将字段的值直接作为下一步的值。 如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将
不支持软链接。 不涉及。 单条日志大小 每条日志最大500KB,超出限制部分ICAgent将截断后丢弃。 不涉及。 正则表达式 正则表达式类型支持Perl兼容正则表达式。 不涉及。 同一文件对应多个采集配置 同一个文件只能上报到一个日志组、日志流。如果配置一个文件采集到多个日志流,只会有一个配置生效。
数据保护技术 LTS通过多种数据保护手段和特性,保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) LTS支持HTTPS传输协议,保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
日志转储功能只能拷贝已有日志,不会删除日志。云日志服务LTS根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 当前LTS支持以下表1,请根据您的业务场景进行日志转储服务选择。 表1 转储服务类型 转储服务类型 使用场景 对象存储服务 OBS 对象存储服务(Object Storage Serv
添加特殊分词符”,参考ASCII码对照表输入ASCII值。 预览分词效果。 在文本框中输入待预览的日志内容,单击“预览”。 预览确认配置无误后,单击“保存”。 单击“重置”,可恢复到系统默认分词配置。 ASCII码对照表 表1 ASCII码对照表 ASCII值 控制字符 ASCII值
from RUNNING to FINISHED表示任务从运行状态切换到完成状态。 错误信息 如果日志级别为ERROR,则可能包含有关错误的详细信息。 如 Job 83529a6b73e4a3f7046f695a27f67f32 failed. 表示作业失败。 日志位置 在YARN上运行的Flink
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空,且目标字段不存在或者值为空时,设置目标字段。
控制台访问”,凭证类型勾选“访问密钥”,其他参数默认即可。 单击“下一步”,无需加入用户组。 单击“创建用户”,IAM用户创建完成,用户列表中显示新创建的IAM用户。 在“下载访问密钥”对话框,单击“确定”,访问密钥下载成功。更多操作请参考创建IAM用户。 新创建的用户无控制台访