检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本实践主要介绍通过Syslog协议将日志上传到日志服务的操作步骤。您需要购买ECS作为Syslog汇聚服务器,Linux服务器默认自带Syslog,目前华为云主机默认未配置接收远程Syslog写入,需要手动开启。 日志接入 将自建ELK日志导入云日志服务LTS 本实践主要介绍使用自定义Pyt
ss融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
将时间字符串解析为日期时间对象。 获取Unix时间戳 dt_currentstamp 获取当前Unix时间戳。 dt_totimestamp 将日期时间对象转换为Unix时间戳。 获取日期时间字符串 dt_strftime 将日期时间对象按照指定格式转换为字符串。 dt_strftimestamp
10\ncity:nanjing,Maki,18"), "name",["city", "age"]) 从OBS资源构建 e_search_table_map(tab_parse_csv(res_obs_file("https://obs.xxx.myhuaweicloud.com","dsl-test-xx"
应用示例 示例1:创建日志组 示例2:查询账号下所有日志组 示例3:创建日志流 示例4:查询指定日志组下的所有日志流 示例5:创建OBS转储
介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换 日期时间偏移 父主题: 日志加工(邀测)
户之间的权限隔离。 将LTS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用LTS服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。
ject对象,regex对象,field_names对象及log_format对象,keyObject内为键值对,键为demo_fields数组中元素的field_name,值为user_defined_name,regex为正则表达式字符串,field_names对象为demo
URI-scheme:表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint:指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从地区和终端节点获取。 例如IAM服务在“华北-北京一”区域的Endpoint为“iam.cn-north-1.myhuaweicloud
描述 project_id 是 String 项目ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 最小长度:32 最大长度:32 log_group_id 是 String 日志组ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 最小长度:36
加工规则 e_set("URL", url_encoding(v("content"), plus=true)) 加工结果 content:1 2+3:4 URL:1+2%2B3%3A4 url_decoding 对数据进行URL解码。 函数格式 url_decoding(value
SQL IP函数 SQL数学函数 SQL时间函数 SQL最值函数 SQL字符串函数 SQL SPLIT函数 SQL比较运算符 SQL IP地址函数 SQL归约函数 SQL其他函数 SQL JOIN语法 SQL查询样例 父主题: 日志搜索与分析(默认推荐)
组件/服务 IP地址 说明 openstack http://169.254.169.254/openstack/latest/meta_data.json 获取节点元数据,节点名称和节点id。 http://169.254.169.254/openstack/latest/securitykey
IP地址函数 本文介绍IP地址函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of函数
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
偶现查询慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
2019-06-02 18:41:26-07:00表示该时间是西7区时区下的2019-06-02 18:41:26。 日期时间对象 实例化的日期时间,专指Datetime类型的数据。日期时间对象的主要用途是为了便于展示以及提升用户可读性。 Unix时间戳 从1970年1月1日(UTC/GMT的午夜)
各种类型的日志,常遇到如下痛点: 企业部门多且日志繁杂,日志量大。 云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现: 提供全场景日志接入,全面覆盖业务、应用、中间件和基础设施,实现快速收集日志。
日志转储 批量修改LTS日志文件转储时区
日志接入 日志接入概述 使用ICAgent插件采集日志 使用云服务接入LTS 使用API接入LTS 使用SDK接入LTS 跨IAM账号接入LTS 使用KAFKA协议上报日志到LTS 使用Flume采集器上报日志到LTS 使用匿名写入采集日志 自建中间件