检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脱敏方法有正则表达式替换(关键函数regex_replace)、Base64转码(关键函数base64_encoding)、MD5编码(关键函数md5_encoding)、str_translate映射(关键函数str_translate)等。更多信息,请参见正则表达式函数和编码解码函数。
录下。 在事务日志的目录中,存在version-2的子目录,这个目录表示当前ZooKeeper使用的事务日志格式版本号。在该目录下,存在一系列名为log.<txid> 的文件,其中<txid>是一个十六进制数,表示写入该日志的第一个事务的ID。 由于事务日志是二进制文件,不能直接
数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
附录 状态码 错误码 获取账号ID、项目ID、日志组ID、日志流ID OBS转储时区表
日志告警 日志告警概述 配置日志告警规则 配置日志告警行动规则 查看LTS告警列表
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 父主题: 日志加工(邀测)
数据保护技术 LTS通过多种数据保护手段和特性,保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) LTS支持HTTPS传输协议,保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。
LTS日志转储状态显示异常是什么原因? 如何转储云审计服务CTS的日志? 配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 日志转储至DLI后,在DLI表中查不到新增分区怎么处理?
您可以通过调用云日志服务LTS提供的REST风格API将日志上报到LTS,具体有上报日志和上报高精度日志两个接口。 以下是两个接口的适用场景和各区域访问IP: 表1 适用场景 API名称 日志时间 举例说明 适用场景 上报日志 用户调用API上传一批日志时,通过log_time_ns字段指定一个初始时间。
"http://10.0.0.1:8080", host: "example.com 表2 错误日志字段说明 示例 说明 2023/07/10 17:00:00 错误发生的时间。 [error] 表示这是一个错误日志。 12345#12345 进程ID。 *1 连接的编号。 recv()
价格计算器中的价格为准。 云日志流水账单 云日志服务按需计费是按小时计费,您可以在流水账单中核对计费周期的信息是否和实际相符,具体如表1所示。 表1 云日志流水账单 产品类型 云日志服务 LTS 产品 云日志服务 计费模式 按需 消费时间 2023/07/11 16:00:00
日志搜索与分析 在LTS页面分析华为云ELB日志 通过LTS仪表盘可视化ELB日志分析结果 在LTS页面分析华为云WAF日志 在LTS页面分析Log4j格式的应用运行日志 将LTS日志查询页面嵌入用户自建系统 分页显示查询分析结果 使用时间函数将日志时间字段转换为指定格式
、方便快捷的方式进行查询,并且可以长期存储。 适用计费项 按照用户实际使用的日志读写流量、日志索引流量、日志存储量、日志转储计费。 表1 计费组成表 计费项 计费说明 日志读写流量 日志的传输流量。 日志索引流量 日志搜索依赖索引,系统默认开启全文索引。 日志存储量 分为标准存储和冷存储。请参考管理日志流开启冷存储。
通过e_switch语法和e_output语法结合,将符合规则的日志投递到不同的Logstream。其中default=e_drop(),表示将不满足规则的日志丢弃,不做投递处理。若不设置default参数,则表示不满足规则日志都会被投递到配置的第一个Logstream中。 output的加工结果不会显示到加工结果框中。
控制台访问”,凭证类型勾选“访问密钥”,其他参数默认即可。 单击“下一步”,无需加入用户组。 单击“创建用户”,IAM用户创建完成,用户列表中显示新创建的IAM用户。 在“下载访问密钥”对话框,单击“确定”,访问密钥下载成功。更多操作请参考创建IAM用户。 新创建的用户无控制台访
附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 详细的公共请求消息头字段请参见表1。 表1 公共请求消息头 名称 描述 是否必选 示例 Host 请求的服务器信息,从服务API的URL中获取。值为hostname[:port
登录云日志服务控制台。 在日志管理页面,单击“购买资源包”。 在购买资源包页面,请参考表1或表2设置参数。 资源包中的冷存储包是白名单功能,同时需要开启智能冷存储,详情请参考管理日志流,如有需要请提交工单申请开通。 表1 推荐规格参数说明 参数 说明 区域 云日志服务所在的区域,建议选择与业务应用系统相同的地域。
日志读写限制 本文介绍云日志服务日志读写的限制。 表1 日志读写限制表 类别 限制项 说明 备注 华为账号 日志写入流量 您在1个华为账号下,写入流量最大为500MB/s。 如您有更大的使用需求,请提工单申请。 日志写入次数 您在1个华为账号下,写入次数最大为10000次/s。 如您有更大的使用需求,请提工单申请。
支持,iframe嵌入到企业内的运维系统,通过企业鉴权系统登录 少,需要前端iframe嵌入 企业鉴权系统 对接Grafana插件 支持Grafana的仪表盘、告警等功能 支持,日志流数据接入Grafana使用 无 Grafana自身的权限管理系统