检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xml_to_json 将xml数据转成JSON数据。 函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str": "<data><country
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
批量安装功能依赖python3.*版本,如果安装时提示找不到python请在服务器上安装python版本后重试。 前提条件 已收集需要安装Agent的所有服务器的IP地址、root密码,按照iplist.cfg格式整理好,并上传到已安装过ICAgent机器的“/opt/ICAgent/”目录下。iplist
KA协议方式上报日志。 日志接入 通过ECS接入LTS采集Zabbix数据 本实践介绍将Zabbix中的监控数据采集到云日志服务的日志流中。 日志接入 采集多渠道日志数据到LTS 本实践介绍采集多渠道日志数据到LTS。 日志搜索与分析 在LTS页面分析华为云ELB日志 本实践主要
购买弹性负载均衡 ELB,并添加TCP监听器和后端服务器组。 添加监听器。分别为TCP端口30200、30201、8149、8923、8102添加监听器,具体请参见添加TCP监听器。 图3 添加监听器 为后端服务器组添加跳板机,具体请参见添加后端服务器。 图4 添加云服务器 配置跳板机安全组规则,并开通转发端口。
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
云数据库RDS for MySQL接入LTS 支持云数据库RDS for MySQL日志接入LTS。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
云数据库GeminiDB Mongo接入LTS 支持云数据库GeminiDB Mongo日志接入LTS。 具体接入方式请参考日志配置管理。 父主题: 使用云服务接入LTS
数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB(DWS)日志接入LTS。 具体接入方法请参见集群日志管理。 父主题: 使用云服务接入LTS
append(transfer_task) 在主机上执行Python脚本,批量修改OBS转储文件时区。 nohup python lts_python.py > lts_python.log & 查看执行日志确认Python脚本运行成功,文件时区已修改。 tail -f lts_python.log 图2 查看执行日志
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
文档数据库服务DDS接入LTS 支持文档数据库服务DDS日志接入LTS。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
数据复制服务DRS接入LTS 支持数据复制服务(DRS)日志接入LTS。配置访问日志后,DRS实例(包含实时迁移、备份迁移、实时同步、实时灾备和录制回放实例)新生成的所有日志记录会上传到云日志服务(Log Tank Service,简称LTS)进行管理。 具体接入方法请参见日志配置管理。
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5
您分散存储数据,面临日志数据不完善时,您可以从OBS中获取数据。日志服务数据加工支持使用res_obs_file函数从OSS中获取数据,再使用tab_parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。 实践案例
云数据库RDS for PostgreSQL接入LTS 支持云数据库RDSfor PostgreSQL日志接入LTS。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
方案介绍 日志流是通过日志组管理的,给日志组添加标签时,默认开启应用到日志流,这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。 本实践以aa和bb部门为例子,首先在aa部门的日志组添加group=groupaa标签,bb部门的日志组添加group=groupbb标
方案介绍 日志流是通过日志组管理的,给日志组添加标签时,默认开启应用到日志流,这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。 本实践以aa和bb部门为例子,首先在aa部门的日志组添加group=groupaa标签,bb部门的日志组添加group=groupbb标
根据日志中的http_status字段的值的不同,为每条日志添加不同的type信息。 为http_status为2XX的日志,添加type字段,并将字段值设置为正常。 为http_status为3XX的日志,添加type字段,并将字段值设置为重定向。 为http_status为4XX的日志,添加type字段,并将字段值设置为错误。