检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以文字方式向用户告知 第三方SDK名称:华为云日志服务移动端日志采集SDK(iOS/Android/HarmonyOS) 第三方公司名称:华为云计算技术有限公司 收集个人信息类型:设备型号、设备名称、操作系统名称、操作系统版本、APP版本、APP名称、Wi-Fi状态。 使用目的:便于用户将APP日志上报到华为云日志服务。
云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:
即查询的时候最后遇到的值。 SELECT LATEST(visitCount) APPROX_QUANTILE_DS(expr, probability) 计算数值expr的近似分位数,probability应介于0和1之间。 APPROX_QUANTILE_DS(expr, probability)
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系
crc32_encoding 计算数据的循环冗余校验码。 函数格式 crc32_encoding(data, input_format="raw", input_encoding="utf-8") 参数说明 参数名称 参数类型 是否必填 说明 data String 是 计算校验码的值。 input_format
SL加工功能对日志进行规整、富化、流转、脱敏、过滤等操作。详细请参考DSL加工。 等保安全合规场景 场景描述:国家网络安全法要求上市公司、金融企业需要保存关键系统日志至少180天,用户可以将这些日志采集到LTS后统一存储。 使用建议: 日志采集方式:DSL加工 云主机和容器日志,
敏、过滤、分裂等功能;另外结合定时SQL统计,可以对数据实现聚合统计。 支持用户使用SDK消费LTS日志,可以获取全量日志数据,可以作为流计算的数据源(SDK消费功能邀测中,暂未开放)。
通过该方式创建的定时SQL任务,会同步显示在定时SQL列表中,单击任务名称可查看详细信息。 在创建定时SQL页面中,配置相关参数。 在计算配置中,完成如下配置后,然后单击“下一步”。 表1 计算配置参数 参数 说明 任务名称 定时SQL任务的名称。仅支持输入英文、数字、中文、中划线、下划线,且不能以中划
避免频繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
normalize String 否 计算结果数字格式。取值为: floor(默认值):向下取整。 int:取整。 round:保留N位小数。 ceil:向上取整。 返回结果 返回按照特定粒度获取的两个值的差异值。 函数示例 示例1:对time1和time2字段的值,按照秒计算差异值。 测试数据 {
查询y为最小值时对应的x值,或查询最小的n个y值对应的x值。 count函数 用于计数。 max函数 用于查询x中最大的值。 min函数 用于查询x中最小值。 avg函数 用于计算x的算术平均值。 approx_distinct函数 用于估算x中不重复值的个数。 估算x中不重复值的个数,默认存在2.3%的标准误差 语
企业路由器ER接入LTS 支持ER企业路由器日志接入LTS。 具体接入方法请参见创建流日志。 父主题: 使用云服务接入LTS
eriod。 timezone_hour函数 计算系统时区和utc时区的小时偏移量。如果提供了时区,则计算系统时区与给定时区的偏移量。 timezone_minute函数 计算系统时区和utc时区的分钟偏移量。如果提供了时区,则计算系统时区与给定时区的偏移量。 time_format函数
是 Long 时间步长,单位为毫秒(ms)。 具体请参考如下公式计算: (end_time-start_time) / 1000 * 1000 / 60,其中 / 1000 * 1000 / 表示取整。 说明: 如果计算出的时间步长小于等于1000时,则时间步长为1000。 group_id
SDK概述 本文介绍了LTS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可
使用Flume采集器上报日志到LTS Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且
使用Flume采集器上报日志到LTS Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且
SUBSTRING(expr, index, [length]) 截取字符串。从指定索引处开始截取,结束位置由指定长度决定。长度按照UTF-16字符个数计算。 SELECT SUBSTRING(str1, 3, 10) WHERE str1 IS NOT NUll RIGHT(expr, [length])
境、华南-深圳、华北-乌兰察布一、西南-贵阳一、华东-上海二、华东-青岛局点已全部开启日志转储计费功能。 读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)
日志文件编码支持UTF-8、GBK(暂不支持Windows场景)。 UTF-8编码是一种变长编码方式,用于表示Unicode字符集。GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。 采集策略 采集策略支持增量或全量。 增量采集:ICAgent采集新文件时,从文件的末尾开始读。