检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换 日期时间偏移 父主题: 日志加工(邀测)
附录 状态码 错误码 获取账号ID、项目ID、日志组ID、日志流ID OBS转储时区表
问题总览 本文汇总云日志服务的常见问题。 产品咨询问题 AOM1.0、AOM2.0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势?
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 父主题: 日志加工(邀测)
dt_totimestamp函数接收的参数类型为日期时间对象,不是字符串。因此需要调用dt_parse函数将time1的字符串值类型转化为日期时间对象类型。您也可以直接使用dt_parsetimestamp函数,它既能接收日期时间对象,也能接收字符串。 示例如下所示: 原始日志 {
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
10\ncity:nanjing,Maki,18"), "name",["city", "age"]) 从OBS资源构建 e_search_table_map(tab_parse_csv(res_obs_file("https://obs.xxx.myhuaweicloud.com","dsl-test-xx"
各种类型的日志,常遇到如下痛点: 企业部门多且日志繁杂,日志量大。 云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现: 提供全场景日志接入,全面覆盖业务、应用、中间件和基础设施,实现快速收集日志。
的日志组中创建日志流。 前提条件 已创建日志组。 创建日志流 登录云日志服务控制台。 单击日志组名称对应的。 单击“创建日志流”,在创建日志流页面,参考表1填写日志流相关信息。 若您的组织已经设定云日志服务的相关标签策略,则需按照标签策略规则为日志组、日志流、日志接入、主机组添加
添加日志转储至OBS als addLogPailToOBS 修改日志转储至OBS als updateLogPailToOBS 删除日志转储至OBS als deleteLogPailToOBS 批量启动暂停周期性日志转储 als batchActionLogPailToOBS 创建指标过滤器
函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。 json_parse 将值解析为JSON对象。 XML xml_to_json 将xml数据转成JSON数据。 json_select 根据JMES语法提取或计算JSON表达式中特定的值。
通过IAM获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。 IAM获取token的API。
日志转储 日志转储后,LTS会删除转储的日志内容吗? LTS日志转储状态显示异常是什么原因? 如何转储云审计服务CTS的日志? 配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 日志转储至DLI后,在DLI表中查不到新增分区怎么处理?
URI-scheme:表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint:指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从地区和终端节点获取。 例如IAM服务在“华北-北京一”区域的Endpoint为“iam.cn-north-1.myhuaweicloud
lts:logs:list - √ x OBS转储 POST /v2/{project_id}/log-dump/obs lts:transfers:create obs:bucket:CreateBucket obs:bucket:HeadBucket obs:bucket:GetLifecycleConfiguration
例如:原始日志量为10GB,写入到日志服务并开启全文索引,则索引流量以10GB 计费。 例如:原始日志量为10 GB,写入到日志服务并关闭全文索引开启其中两个字段的索引,这两个字段的数据量为5GB,则索引流量以5GB 计费。 例如:原始日志量为10GB,写入到日志服务并开启全文索引和其中两个字段的索引,则索引流量以10GB计费。
请从下拉列表中选择,一般为有序数据类别。 趋势对比 当X轴为时间数据时,且不设置维度列时,可开启该按钮。 开启后,设置比较对象时间,时间小于等于24小时。设置完成后,将当前时间的数据与对象时间数据进行比较。 图例配置 隐藏图例 开启后,可以隐藏图例和对比值的显示。 图例位置 选择图表顶部或图表右边。
startTimeNs(消费开始时间)和endTimeNs(消费结束时间),这里的时间指的是服务端时间。 API消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 API消费示例代码 消费某段时间日志
发的人员,您希望员工拥有LTS的使用权限,但是不希望员工拥有删除服务发现规则等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用服务发现规则,但是不允许删除服务发现规则的权限策略,控制其对服务发现规则资源的使用范围。 如果华为账号已经能满足您的使用需求,不需
云日志服务Go SDK 云日志服务SDK提供了Go语言上报日志的一系列方法,方便用户直接使用编码方式上报日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。