检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:
即查询的时候最后遇到的值。 SELECT LATEST(visitCount) APPROX_QUANTILE_DS(expr, probability) 计算数值expr的近似分位数,probability应介于0和1之间。 APPROX_QUANTILE_DS(expr, probability)
crc32_encoding 计算数据的循环冗余校验码。 函数格式 crc32_encoding(data, input_format="raw", input_encoding="utf-8") 参数说明 参数名称 参数类型 是否必填 说明 data String 是 计算校验码的值。 input_format
安装ICAgent(区域外主机) 区域外主机指的是华为云非当前Region或非华为云主机,例如自建IDC(Internet Data Center,互联网数据中心)、第三方云厂商或华为云跨Region主机等。如果您想使用云日志服务对区域外主机进行日志采集,那么您需要先保证区域外主
敏、过滤、分裂等功能;另外结合定时SQL统计,可以对数据实现聚合统计。 支持用户使用SDK消费LTS日志,可以获取全量日志数据,可以作为流计算的数据源(SDK消费功能邀测中,暂未开放)。
以文字方式向用户告知 第三方SDK名称:华为云日志服务移动端日志采集SDK(iOS/Android/HarmonyOS) 第三方公司名称:华为云计算技术有限公司 收集个人信息类型:设备型号、设备名称、操作系统名称、操作系统版本、APP版本、APP名称、Wi-Fi状态。 使用目的:便于用户将APP日志上报到华为云日志服务。
目前白名单用户的日志存储时间支持1095天,如有需要,请提工单申请。详细操作请参考提交工单。 创建日志组免费,使用阶段按照日志量收费,详细请参考价格计算器。 标签 按照业务需求对不同的日志组添加对应的标签。单击“添加标签”,分别填写标签键key和标签值value,开启应用到日志流。 如需添
避免频繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
normalize String 否 计算结果数字格式。取值为: floor(默认值):向下取整。 int:取整。 round:保留N位小数。 ceil:向上取整。 返回结果 返回按照特定粒度获取的两个值的差异值。 函数示例 示例1:对time1和time2字段的值,按照秒计算差异值。 测试数据 {
9:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 在资源统计下方,查看资源统计数据: 读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)
查询y为最小值时对应的x值,或查询最小的n个y值对应的x值。 count函数 用于计数。 max函数 用于查询x中最大的值。 min函数 用于查询x中最小值。 avg函数 用于计算x的算术平均值。 approx_distinct函数 用于估算x中不重复值的个数。 估算x中不重复值的个数,默认存在2.3%的标准误差 语
日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 采集Syslog汇聚服务器日志到LTS 将自建ELK日志导入云日志服务LTS 基于VPN打通网络实现API或SDK跨云上报日志到LTS
eriod。 timezone_hour函数 计算系统时区和utc时区的小时偏移量。如果提供了时区,则计算系统时区与给定时区的偏移量。 timezone_minute函数 计算系统时区和utc时区的分钟偏移量。如果提供了时区,则计算系统时区与给定时区的偏移量。 time_format函数
LTS柱状图 柱状图是使用垂直或水平的柱子显示类别之间的数值比较,用于描述分类数据,并统计每一个分类中的数量。 云日志服务(LTS)提供的柱状图,有垂直柱子和水平柱子,矩形块宽度一定,高度代表数值大小。有多列数据映射到Y轴时,采用分组柱状形式显示。 默认采用垂直柱子,您可以根据自己的需要进行选择。基本构成如下:
LTS折线图 折线图属于趋势类分析图表,一般用于表示一组数据在一个有序数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。在折线图中,可以清晰的观测到数据在某一个周期内的变化,主要反映在: 递增性或递减性 增减的速率情况 增减的规律(如周期变化) 峰值和谷值 所以
是 Long 时间步长,单位为毫秒(ms)。 具体请参考如下公式计算: (end_time-start_time) / 1000 * 1000 / 60,其中 / 1000 * 1000 / 表示取整。 说明: 如果计算出的时间步长小于等于1000时,则时间步长为1000。 group_id
LTS饼图 饼图用于表示不同分类的占比情况,通过弧度大小来对比各种分类。饼图通过将一个圆饼按照分类的占比划分成多个区块,整个圆饼代表数据的总量,每个区块表示该分类占总体的比例大小,所有区块的加和等于100%。基本构成如下: 扇形 文本百分比 图例 查看饼图 登录云日志服务控制台。
SUBSTRING(expr, index, [length]) 截取字符串。从指定索引处开始截取,结束位置由指定长度决定。长度按照UTF-16字符个数计算。 SELECT SUBSTRING(str1, 3, 10) WHERE str1 IS NOT NUll RIGHT(expr, [length])
LTS最佳实践总览 以下罗列了云日志服务(LTS)相关的最佳实践。 表1 最佳实践总览 分类 最佳实践 场景说明 日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 本实践主要介绍将阿里云主机日志采集到华为云LTS的操作步骤,互联网数据中心和华为
购买两台ECS机器,一台ECS作为Syslog汇聚服务器,另一台用为业务ECS模拟客户系统或者设备发送日志。 购买弹性云服务器 登录管理控制台,选择“计算 > 弹性云服务器 ECS”。 购买一台弹性云服务器作为Syslog汇聚服务器。 推荐CentOS 6.5 64bit及其以上版本的镜像,