检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4)
"”这是一个短信测试模板”", "sub_type" : "sms" } ], "type" : [ "" ] }, { "create_time" : 1702021411612, "desc" : "这是短信测试模式",
日志的字段名。 返回结果 字段存在返回true,不存在返回false。 函数示例 判断日志是否存在content字段,存在则保留,不存在则丢弃。 测试数据 { "content": 123 } 加工规则 e_keep(e_has("content")) 加工结果 content: 123
字典的关键字只能是字符串。 函数示例 从高级参数配置中获取信息并赋值给local。高级参数配置中的Key为endpoint,Value为hangzhou。 测试数据 { "content": "1" } 加工规则 e_set("local", res_local('endpoint')) 加工结果
p_cidrmatch函数删除内网日志。 更多加工语法请参考DSL数据加工语法(邀测)。 在“测试数据”页签输入测试数据,参考如下:(以下示例仅供参考,请以实际上报的数据为准) 模拟测试时需要将srcaddr的值改为公网IP。 { "content": "1 5f679449
环境。 首次使用ES时需要安装对应ES版本的python数据包,本次方案测试使用的elasticsearch为7.10.1版本。 pip install elasticsearch==7.10.1 方案测试使用的ES为华为云CSS服务创建的ES。 执行用来构造索引数据的pytho
ER仪表盘模板 企业路由器(Enterprise Router, ER)可以连接虚拟私有云(Virtual Private Cloud, VPC)或本地网络来构建中心辐射型组网,是云上大规格、高带宽、高性能的集中路由器。企业路由器使用边界网关协议(Border Gateway Protocol
batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为15MB/s,速率为1.5w条/s。 当日志上报量超过单个producer时: 建议拆分日志
batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为10MB/s,速率为1.2w条/s。 当日志上报量超过单个producer时: 建议拆分日志
日志转储至DIS DIS提供丰富的大数据分析能力,可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。
"is_analysis" : false, "type" : "string" }, { "content" : "13测试", "field_name" : "field7", "index" : 6, "is_analysis"
batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为10MB/s,速率为1.2w条/s。 当日志上报量超过单个producer时: 建议拆分日志
batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为60MB/s,速率为6w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,
安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。
安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。
表1 版本更新说明 版本号 下载地址 更新说明 系统 0.0.3 单击下载 将SDK写入和上报日志逻辑迁移到子线程,添加代码混淆与单元测试用例。 HarmonyOS NEXT及以上。 0.0.2 单击下载 将日志状态存入数据库。 HarmonyOS NEXT及以上。 0.0.1
查询API相关接口文档。 通过查询日志转储API获取到所有转储任务的信息。 通过更新日志转储API将转储任务配置的时区修改。 在API Explorer中测试API功能,API Explorer提供API检索及平台调试能力。 参考API Explorer示例代码,在主机上安装Python SDK。
与其他云服务的关系 云日志服务与其他服务之间关系,如表1所示。 表1 与其他服务之间关系 交互功能 相关服务 通过CTS服务,您可以记录与云日志服务相关的操作事件,便于日后的查询、审计和回溯。 云审计服务(Cloud Trace Service,简称CTS) 通过OBS服务,您可
日志转储概述 主机和云服务的日志数据上报至云日志服务LTS后,LTS会根据配置的日志存储时间定时清理日志内容。例如日志存储时间为30天,上报到LTS的日志只保存30天,30天后开始删除日志内容。请以创建日志组或日志流时设置的日志存储时间为准,详情请参考管理日志组和管理日志流。超出
ServiceStage云主机日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage云主机的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快