云日志 服务地址说明 云日志服务首页，基础URL为： https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer#/cts/manager/groups 表3 参数说明表 参数名称 必填 类型 描述 regionId 是 String 区域ID，登录console页面后在浏览器的地址栏中获取。 日志搜索界面，基础URL为： https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer#/cts/logEventsLeftMenu/events?groupId={groupId}&topicId={topicId}&epsId={epsId}&hideHeader={hideHeader}&fastAnalysisCollapsed={fastAnalysisCollapsed}&hideDashboard={hideDashboard}&hideFeedback={hideFeedback}&isFoldLabel={isFoldLabel}&hideStreamName={hideStreamName}&showK8sFilter={showK8sFilter}&clusterId={clusterId}&hideBarChart={hideBarChart}&hideTabs={hideTabs}&condition={condition} 表4 参数说明表 参数名称 必填 类型 默认值 描述 regionId 是 String 无 区域ID，登录console页面后在浏览器的地址栏中获取。 groupId 是 String 无 日志组ID。 topicId 是 String 无 日志流ID。 epsId 否 String 无 日志流所属的企业项目ID，若无企业项目，值为0。 hideHeader 否 Boolean false 是否隐藏左侧列表及顶部横向日志流列表，如需隐藏，该参数值为true。 说明： 使用iframe内嵌场景才会生效，不使用iframe内嵌场景则不生效。 fastAnalysisCollapsed 否 Boolean false 是否收起快速分析，如需默认收起，该参数值为true。 hideDashboard 否 Boolean false 是否隐藏创建仪表盘图标，如需隐藏，该参数值为true。 hideFeedback 否 Boolean false 是否隐藏评价按钮，如需隐藏，该参数值为true。 isFoldLabel 否 Boolean true 控制日志表格中的label字段是否换行，如需换行展示，该参数值为true。 hideStreamName 否 Boolean false 是否隐藏日志流名称，如需隐藏，该参数值为true。 showK8sFilter 否 Boolean false 是否展示容器日志筛选，容器日志搜索场景下，可选择该参数为true，控制是否展示容器日志筛选条件。 clusterId 否 String 无 集群ID，showK8sFilter参数为true时，该参数必填。 hideBarChart 否 Boolean false 是否默认收起日志条数统计图，如需默认收起，该参数值为true。 hideTabs 否 Boolean false 是否隐藏“日志搜索、 日志分析 、实时日志”标签tabs，默认不隐藏。如需隐藏，该参数值为true。 hideShare 否 Boolean false 是否隐藏“分享”按钮，默认不隐藏。如需隐藏，该参数值为true。（当前仅华北-北京四局点支持该参数） condition 否 String 无 日志查询条件，如name:a and age:12 and addr:xx。 非必填 单个关键词形式为key:value 多个关键词用 and 隔开 关键词中不能包含英文分号（;）、英文冒号（:） 关键词中含有其他特殊字符如（+、=、？、#、%、&）需转换为十六进 图6 参数与界面对应关系图（仅供参考） 可视化日志搜索界面，基础URL为： https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer#/cts/logEventsLeftMenu/events?visualization=true&groupId={groupId}&topicId={topicId}&epsId={epsId}&sql={sql} 表5 参数说明表 参数名称 必填 类型 默认值 描述 regionId 是 String 无 区域ID，登录console页面后在浏览器的地址栏中获取。 groupId 是 String 无 日志组ID。 topicId 是 String 无 日志流ID。 epsId 否 String 无 日志流所属的企业项目ID，若无企业项目，值为0。 hideHeader 否 Boolean false 是否隐藏左侧列表及顶部横向日志流列表，如需隐藏，该参数值为true。 sql 否 String 无 SQL查询语句，如SELECT count (*)。 图7 参数与界面对应关系图（仅供参考） 仪表盘界面，基础URL为： https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer#/cts/manager/dashboard?dashboardId={dashboardId}&hideDashboardList={hideDashboardList}&showCurrentdashboardGroup={showCurrentdashboardGroup}&streamId={streamId}&streamDisabled={streamDisabled}&readonly={readonly}&filter=key1:value1,value2;key2:value3,value4&autoFresh={autoFresh} 表6 参数说明表 参数名称 必填 类型 默认值 描述 示例 regionId 是 String 无 区域ID，登录console页面后在浏览器的地址栏中获取。 region=xx-xx-xx dashboardId 否 String 无 需要展示的仪表盘ID，默认值为""。 使用场景：当用户需要默认展示某仪表盘时，可添加此参数。 dashboardId=xxxxxxxx hideDashboardList 否 Boolean false 是否隐藏仪表盘选择下拉列表：默认不隐藏，true表示隐藏。 使用场景：当用户需要隐藏仪表盘下拉列表时，可通过添加该参数且值为true来实现。 hideDashboardList=true showCurrentdashboardGroup 否 Boolean false 是否只展示当前仪表盘所在分组/模板：默认值为false。 使用场景：当用户只需要展示当前仪表盘分组/模板的仪表盘时，可通过添加该参数且值为true来实现。 注意：若hideDashboardList参数值为true时，当前参数无效。 showCurrentdashboardGroup=true streamId 否 String 无 日志流ID：默认值为""。 使用场景：只适用于仪表盘模板。当用户需要默认选中某日志流时，可添加该参数。 streamId=xxxxxx streamDisabled 否 Boolean false 日志流下拉框：默认可选择，true标识不可选择 使用场景：只适用于仪表盘模板。当用户需要置灰日志流下拉框时，可添加该参数。 streamDisabled=true filter 否 String 无 过滤器参数，值为要选中的过滤器的名称及选中项。 key1、key2为过滤器名称，value1、value2为过滤器key1需要选中的值，value3、value4为过滤器key2需要选中的值。多个过滤器按照;分隔，多个选中项按照,分隔。 使用场景：当用户内嵌仪表盘界面需要默认选中某些过滤器的key、value时，可添加该参数。 filter=key1:value1,value2;key2:value3,value4 readonly 否 Boolean false 是否是只读场景，只读场景下，操作类按钮会被隐藏。例如：新建过滤器、添加/修改/删除仪表盘等。 使用场景：当用户只需要展示仪表盘，不需要操作权限时，可添加该参数。 readonly=true autoFresh 否 String 无 定时刷新时长，默认值为""。 使用场景：当用户需要指定默认定时刷新时长时，可添加此参数，当前支持的定时刷新时长参数取值为：0m，1m，5m，15m之一，对应：不定时刷新、1分钟定时刷新、5分钟定时刷新、15分钟定时刷新。 autoFresh=1m 图8 参数与界面对应关系图（仅供参考）

方案概述 图1 方案流程图 你可以购买Linux云主机，配置为Syslog汇聚服务器，用于接收其他设备发送的日志数据；Syslog服务器默认接收日志大小为1024字节，超过会截断。 单台Syslog服务器处理日志能力为10MB/s，如果您的日志量较大，或者希望可靠性更高，可以购买多台E CS 配置为Syslog服务器，并配置 ELB负载均衡 分发流量。 您需要在Syslog服务器上安装ICAgent，并配置日志采集规则，就可以将日志采集到LTS。

背景信息 Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议，它几乎被所有的网络设备支持，并且能够记录多种事件类型的日志消息，支持syslog的设备常见的有路由器、交换机、打印机等，甚至unix-like的服务器也可以支持产生syslog消息，用以记录用户的登录、防火墙事件、apache或者nginx access日志等。 Syslog主要是基于RFC5424和RFC3164定义相关格式规范，RFC3164协议是2001年发布的，RFC5424协议是2009年发布的升级版本。因为新版兼容旧版，且新版本解决了很多问题，因此推荐使用RFC5424协议。更多信息请参见RFC5424和RFC3164。 本文介绍通过Syslog协议将日志上传到日志服务的操作步骤。您需要购买ECS作为Syslog汇聚服务器，Linux服务器默认自带Rsyslog，目前华为云主机默认未配置接收远程Syslog写入，需要手动开启。

方案介绍 日志流是通过日志组管理的，给日志组添加标签时，默认开启应用到日志流，这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。 本实践以aa和bb部门为例子，首先在aa部门的日志组添加group=groupaa标签，bb部门的日志组添加group=groupbb标签，然后在费用明细中导出账单，通过Excel进行统计分析。 以下提到的价格仅为示例，实际计算请以价格计算器中的价格为准。

采集Web/移动端页面用户行为日志 采集方案： 页面用户行为收集可以分为两类： 页面与后台服务器交互：例如下单、登录、退出等。 页面无后台服务器交互：请求直接在前端处理，例如滚屏、关闭页面等。 实施方法： 使用匿名写入采集日志，详细请参见使用匿名写入采集日志。 使用匿名写入采集日志功能仅支持华北-北京四、华东-上海一、华南-广州区域的白名单用户使用，如有需要，请提交工单，其他区域暂不支持申请开通。

采集服务器日志 采集方案，例如： Syslog日志 Aug 31 11:07:24 zhouqi-mac WeChat[9676]: setupHotkeyListenning event NSEvent: type=KeyDown loc=(0,703) time=115959.8 flags=0 win=0x0 winNum=7041 ctxt=0x0 chars="u" unmodchars="u" repeat=0 keyCode=32 应用程序Debug日志 __FILE__:build/release64/sls/shennong_worker/ShardDataIndexManager.cpp __LEVEL__:WARNING __LINE__:238 __THREAD__:31502 offset:816103453552 saved_cursor:1469780553885742676 seek count:62900 seek data redo log:pangu://localcluster/redo_data/41/example/2016_08_30/250_1472555483 user_cursor:1469780553885689973 Trace日志 [2013-07-13 10:28:12.772518] [DEBUG] [26064] __TRACE_ID__:661353951201 __item__:[Class:Function]_end__ request_id:1734117 user_id:124 context:..... 采集方法： 日志写到本地文件，通过创建采集任务写到指定日志流中。 Docker中产生的日志可以使用CCE接入LTS进行采集。 C#、Python、Java、PHP、C等可以使用SDK写入。

采集终端用户日志 端侧日志全面采集接入LTS，例如Web浏览器、IOS、安卓、百度小程序、微信小程序、钉钉小程序、快应用等多类端侧日志。LTS提供了多种移动端SDK，实现了缓存发送、异常重试、批量发送等稳定功能，用户快速集成即可全面采集移动端日志到LTS。 采集方案： 移动端：可以使用移动端iOS SDK，Android或MAN（移动数据分析）接入。 ARM设备：ARM平台可以使用Native C交叉编译。 商家平台设备：X86平台设备可以用SDK、ARM平台可以使用Native C交叉编译。 实施方法： 日志写到本地文件，通过创建日志采集任务写到指定日志流中。 Docker中产生的日志可以使用CCE接入LTS进行采集。 C#、Python、Java、PHP、C等可以使用SDK写入。

数据采集面临的难点 在数据化运营的过程中，第一步是如何将散落的日志数据集中收集起来，其中会遇到如下挑战： 多渠道：例如广告商、地推（传单）等。 多终端：网页版、公众账号、手机、浏览器（Web、移动端页面）等。 异构网：VPC、用户自建IDC，华为云ECS等。 多开发语言：核心系统Java、前端Nginx服务器、后台支付系统C++。 设备：商家有不同平台（X86、ARM）设备。 我们需要把散落在外部、内部的日志收集起来，然后通过LTS实现统一管理日志。 采集用户推广日志 采集服务端数据 采集终端用户日志 采集Web/移动端页面用户行为日志 采集服务器日志 采集不同网络环境下的日志数据

统一管理日志 在 云日志服务LTS 控制台创建日志组，详细操作请参考管理日志组。 在云日志服务LTS控制台为不同数据源产生的日志创建日志流，详细操作请参考管理日志流，例如： wechat-server（存储微信服务器访问日志） wechat-app（存储微信服务器应用日志） wechat-error（错误日志） alipay-server alipay-app deliver-app（送货员App状态） deliver-error（错误日志） web-click（H5页面点击） server-access（服务端Access-Log） server-app（应用） coupon（应用优惠券日志） pay（支付日志） order（订单日志） 如需要对原始数据进行加工，可以通过创建日志加工任务，详细请参考DSL加工。 DSL加工的功能在邀测中，仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用，其他局点暂不支持。

采集用户推广日志 为获取新用户，一般有两种方式： 网站注册时直接投放优惠券。 其他渠道扫描二维码，投放优惠券。 传单二维码 扫描网页二维码登录 实施方法： 定义如下注册服务器地址，生成二维码（传单、网页）供用户注册扫描。用户扫描该页面进行注册时，就可以得知用户是通过特定来源进入的，并记录日志。 http://example.com/login?source=10012&ref=kd4b 当服务端接受请求时，服务器输出如下日志： 2024-06-20 19:00:00 e41234ab342ef034,102345,5k4d,467890 收集方式： 应用程序输出日志到硬盘，通过ICAgent采集日志，详细请参考云主机ECS文本日志接入LTS。 应用程序通过SDK写入，详细请参考SDK概述。

采集服务端数据 支付宝和微信公众账号编程是典型的Web端模式，一般会有四种类型的日志，可以使用SDK上报日志的方式，详细请参考云日志服务支付宝小程序SDK、云日志服务微信小程序SDK。 Nginx和Apache访问日志 Nginx和Apache访问日志用以监控、实时统计。 10.1.168.193 - - [01/Mar/2024:16:12:07 +0800] "GET /Send?AccessKeyId=8225105404 HTTP/1.1" 200 5 "-" "Mozilla/5.0 (X11; Linux i686 on x86_64; rv:10.0.2) Gecko/20100101 Firefox/10.0.2" Nginx和Apache错误日志 2024/04/18 18:59:01 [error] 26671#0: *20949999 connect() to unix:/tmp/fastcgi.socket failed (111: Connection refused) while connecting to upstream, client: 10.101.1.1, server: , request: "POST /logstores/test_log HTTP/1.1", upstream: "fastcgi://unix:/tmp/fastcgi.socket:", host: "example.com" 应用层日志 应用层日志可以把事件产生的时间、地点、结果、参数等记录详细，扩展类字段一般放在最后。 {"labels":{"cccdasd":51,"platform":"wx"},"logs":[{"contents":[{"aaa":"13123","__client_time__":1728565099070}]}]} 应用层错误日志 {"errorCode":"LTS.403","errorMessage":" request header auth is empty"} 实施方法： 日志写到本地文件，通过创建日志采集任务写到指定日志流中。 Docker中产生的日志可以使用CCE接入LTS进行采集。 C#、Python、Java、PHP、C等可以使用SDK写入。

背景信息 “我要点外卖”是一个平台型电商网站，涉及用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜。商家拿到订单后开始加工，并自动通知周围的快递员。快递员将外卖送到用户手中。 在运营的过程中，发现了如下的问题： 获取用户难，投放一笔不小的广告费到营销渠道（网页、微信推送），收获了一些用户，但无法评判各渠道的效果。 用户经常抱怨送货慢，但慢在什么环节，接单、配送还是加工，如何进行优化？ 用户运营，经常搞一些优惠活动，但无法获得效果。 调度问题，如何帮助商家在高峰时提前备货？如何调度更多的快递员到指定区域？ 客服服务，用户反馈下单失败，用户背后的操作是什么？系统是否有错误？

安装ICAgent的限制说明 Linux环境：ICAgent支持的Linux操作系统，请参考Linux操作系统。 Windows环境：仅支持在如下64位系统的Windows环境中安装ICAgent。 Windows Server 2016 R2 Datacenter Windows Server 2016 R2 Standard Windows Server 2016 Datacenter English Windows Server 2016 R2 Standard English Windows Server 2012 R2 Datacenter Windows Server 2012 R2 Standard Windows Server 2012 Datacenter English Windows Server 2012 R2 Standard English Windows Server 2008 R2 Enterprise Windows Server 2008 R2 Standard Windows Server 2008 Enterprise English Windows Server 2008 R2 Standard English Windows环境不支持在云日志服务主机管理界面对ICAgent进行升级和卸载操作。如果需要使用新版本，请先卸载旧版本ICAgent，再安装新版本ICAgent。请在ICAgent安装包解压目录下，双击执行“ICAgent安装包解压目录\ICProbeAgent\bin\manual\win\uninstall.bat”脚本，当显示“ICAgent uninstall success”时，表示卸载成功。

安装方式说明 ICAgent有两种安装方式，请按照您的场景进行选择。 表1 安装方式 方式 适用场景 首次安装 该服务器上未安装过ICAgent。 在服务器上执行ps -aux | grep icagent命令，查看没有ICAgent进程，则确认没有安装过ICAgent。 首次安装（Linux环境） 首次安装（Windows环境） 继承安装（Linux环境支持） 您有多个服务器需要安装ICAgent，其中一个服务器已经通过首次安装方式装好了ICAgent，对于没有安装ICAgent的其他多个服务器，您可以采用该安装方式。 继承安装（Linux环境） 继承批量安装（Linux环境）

继承批量安装（Linux环境） 如果您有多个服务器需要安装ICAgent，其中一个服务器已经通过首次安装方式装好了ICAgent，且该服务器“/opt/ICAgent/”路径下存在ICAgent的安装包ICProbeAgent.tar.gz，对于没有安装ICAgent的服务器，可以通过该方式对服务器进行一键式继承批量安装。 批量安装的服务器需同属一个VPC下，并在同一个网段中。 批量安装功能依赖python3.*版本，如果安装时提示找不到python请在服务器上安装python版本后重试。