云服务器内容精选

  • 背景信息 Log4j是Apache的一个开源项目,通过使用Log4j工具,我们可以将日志输出并保存到日志文件中,开发或运维人员会基于该日志统计日志级别的数量和占比,或者通过运行日志统计业务数据。 如统计今天某商品的交易量,示例日志如下: 2020-12-28_21:10:48.081 [http-nio-8083-exec-6] INFO discounted shoes - num is :9
  • 将图表添加到仪表盘 将图表添加到仪表盘有两种方式: 方式一: 鼠标悬浮可视化图表名称,单击选择“添加到仪表盘”。 在弹出的移动图表页面中,选择待存放的仪表盘。 完成后,单击“确定”。 方式二: 创建仪表盘 在左侧导航栏中,选择“仪表盘”。 在仪表盘下方,选择仪表盘分组。 单击“添加仪表盘”,在创建仪表盘页面,配置相关参数。 关于仪表盘参数的说明,请参见仪表盘。 将图表添加到仪表盘。 在创建仪表盘页面,单击“开始添加图表”,进入添加可视化图表界面,选择目标日志新建的可视化图表。 完成后,单击“确定”。
  • 新建可视化图表 SQL查询与分析。 登录 云日志 服务管理控制台,在左侧导航栏中,选择“日志管理”。 在日志列表中,单击日志组名称前对应的,选择目标日志流,进入日志详情页面。 选择“可视化”,在SQL查询条件框中,选择对应时间并输入SQL语句,单击“查询”进行日志搜索。 当设置时间范围内日志量超过10亿行时会触发迭代查询,可以通过迭代查询分多次完成全部日志的查询,界面会显示“查询状态:结果精确”。 根据SQL查询返回的数据,依照您的业务需求选择不同图表类型,呈现查询结果。 关于更多SQL查询的说明,请参见SQL查询语法。 新建图表。 单击“新建”,新建为可视化图表。 或单击“保存”,将当前查询结果新建为可视化图表。当选中某个可视化图表时,单击“保存”,可对当前图表修改结果进行保存。 在创建图表页面中,配置相关参数。 如果开启“同时添加到仪表盘”按钮,新建图表可以直接添加到仪表盘中。 完成后,单击“确定”。 查看可视化图表。 单击“展开图表”,查看可视化图表。
  • 计费示例 以全文索引使用场景为例。 图中价格仅为示例,实际计算请以价格计算器中的价格为准。 假设您有1台服务器,每天产生100GB原始日志,并开启全文索引,日志存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志)。开启智能冷存储后,标准存储层数据保存时间为7天,则冷存储时长为30-7=23天,具体明细如下表所示。 表2 计费明细表(全文索引使用场景) 计费项 说明 使用量 单价 月计费 读写流量 每天读写流量100GB/5(压缩倍率)=20GB(压缩后),30天累计20GB*30=600GB 600GB 0.18元/GB (600GB-500MB/1024) *0.18=107.91元 索引流量 索引流量为100GB*30=3000GB 3000GB 0.32元/GB (3000GB-500MB免费额度/1024) *0.32=959.84元 标准存储 标准存储量为100GB/天*7天=700GB 700GB 0.000479元/GB/小时 (700GB-500MB免费额度/1024)*0.000479*24小时*30天=241.25元 冷存储 冷存储量为100GB/天*23天=2300GB 2300GB 0.000208元/GB/小时 2300GB*0.000208*24小时*30天=344.45元 日志基础转储流量 日志基础转储流量为100GB/天*30天=3000GB 3000GB 0.05元/GB 3000GB*0.05=150元 日志高级转储流量 日志高级转储流量为100GB/天*30天=3000GB 3000GB 0.2元/GB 3000GB*0.2=600元
  • 计费说明 如图1所示,云日志服务的计费项由日志读写流量、日志索引流量、日志存储量、日志基础转储流量和日志高级转储流量费用组成。具体内容请查看表1。 如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心进行设置,详情请参见:配置中心。 图1 计费项 表1 计费组成表 费用类别 计费项 计费说明 付费方式 免费额度 存储费用 标准存储量 原始日志(含备份,压缩后)所产生的存储量。 例如原始日志为10GB,上传到云日志服务后,原始日志(含备份,压缩后)还是10GB。 按量付费: 标准存储量费用=标准存储量(GB)× 每GB单价 500 MB/月 冷存储量 原始日志(含备份,压缩后)所产生的存储量。 例如原始日志为10GB,上传到云日志服务后,原始日志(含备份,压缩后)还是10GB。 按量付费: 冷存储量费用=冷存储量(GB)× 每GB单价 无 流量费用 日志读写流量 日志读写流量包括写流量和读流量,详细说明如下: 写流量:数据(压缩后)被上传到日志服务时,按照传输的数据量计算写流量费用。 例如:原始数据量为5GB,则上传到云日志服务会产生1GB(压缩率20%)的写流量。 读流量:读流量暂未统计和收费。 按量付费: 读写流量费用= 写流量(GB,20%压缩率)× 每GB单价 500 MB/月 日志索引流量 日志索引流量,详细说明如下: 原始日志数据默认会构建全文索引,按照日志(未压缩)被构建索引所产生的索引数据量计算索引流量。 在写入数据时一次性收取索引流量费用,即全文索引流量费用。 对同时构建了全文索引和字段索引的字段,只计算一次索引流量费用,即全文索引流量费用。 当关闭全文索引,仅开启字段索引,则long类型和float类型的字段名将不记入索引流量中,每个字段值占用的索引流量统一为8字节。如果是String类型,则日志字段名(Key)和字段值(Value)都将作为text类型存储,字段名和字段值都被计入索引流量中。使用字段索引,可降低索引流量费用。 示例: 对request_uri字段名设置了索引(String类型),字段值为/request/path,则字符串request_uri和/request/path都会被计入索引流量中。 对status字段名设置了索引(long类型),字段值为400,则字段名status不会被计入在索引流量中,字段值400的索引流量统一为8字节。 说明: 字段索引的自定义分词符和特殊分词符仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 示例: 例如:原始日志量为10GB,写入到日志服务并开启全文索引,则索引流量以10GB 计费。 例如:原始日志量为10 GB,写入到日志服务并关闭全文索引开启其中两个字段的索引,这两个字段的数据量为5GB,则索引流量以5GB 计费。 例如:原始日志量为10GB,写入到日志服务并开启全文索引和其中两个字段的索引,则索引流量以10GB计费。 按量付费: 日志索引费用=索引流量(GB)× 每GB单价 500 MB/月 转储费用 日志转储功能免费公测即将结束(从24年430到24年630逐步在各Region启用转储计费)。 转储费用只统计用户的日志字段,LTS的内置保留字段不参与流量统计。 说明: 目前华北-北京一、华北-北京二、华南-广州-友好用户环境、华南-深圳、西南-贵阳一、华东-上海二、华东-青岛、华北-乌兰察布一局点已全部开启日志转储计费功能。 提供如下转储日志样例,方便进行流量统计举例说明:原始日志:"192.168.0.1 200 190 /check" 该日志被结构化解析后为:{"ip":"192.168.0.1","status":200,"cost_time":190,"url":"/check"} 日志基础转储流量 转储OBS(原始日志格式/JSON格式)、转储DMS、转储DIS属于日志基础转储,典型特征是源日志流和转储目标之间不需要字段映射,日志基础转储算力消耗相对日志高级转储较少。 转储流量会统计非压缩的转储数据量,以转储DMS流量统计为例: 若用户转储原始日志:LTS会统计转储的原始日志的大小(非压缩),那么统计的转储流量是length("192.168.0.1 200 190 /check")=26字节 若用户转储结构化解析后的日志:LTS会统计转储日志的KEY和VALUE的大小(非压缩),数字统一按照8字节,那么统计的转储流量是length("ip")+length("192.168.0.1")+length("status")+8+length("cost_time")+8+length("url")+length("/check")=2+11+6+8+9+8+3+6=53字节 按量付费: 日志基础转储流量费用=转储流量(GB,非压缩)× 每GB单价 无 日志高级转储流量 转储OBS(ORC格式)、转储DWS、转储 DLI 属于日志高级转储,典型特征是源日志流和转储目标之间需要字段映射,日志高级转储算力消耗相对日志基础转储较多。 转储流量会统计非压缩的转储数据量,以转储DWS流量统计为例: 若用户将转储日志样例中的ip、status、cost_time、url 4个字段都转储到DWS数仓中,那么LTS会统计转储日志的每个字段的VALUE的大小(非压缩),数字统一按照8字节,那么统计的转储流量是length("192.168.0.1")+8+8+ length("/check")=11+8+8+6=33字节 按量付费: 日志高级转储流量费用=转储流量(GB,非压缩)× 每GB单价 无
  • 云日志服务LTS 如何计费,日志索引流量是什么? 日志包含3个计费量纲:日志读写流量、日志索引流量和日志存储空间,LTS每月各赠送500M免费额度,具体单价请参考官网日志计费说明。 日志读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率。 示例:原始日志为10GB,实际压缩大小为 2GB,则以2GB 计费。 日志索引流量:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志,在写入时一次性收取流量费用。 示例:原始日志为10GB,需要索引的流量为10GB,产生索引流量费用3.2元。 日志存储空间:日志存储空间为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。 示例:原始日志为10GB,那么一天存储最大收费为 0.000479*24*10=0.12元(金额如果遇小数点,则保留小数点后两位,第三位四舍五入。如遇四舍五入后不足¥0.01 元,则按¥0.01 元展示)。 父主题: 计费FAQ
  • 云日志服务LTS提供的500M免费额度怎么算? 云日志服务的计费功能包括:日志读写流量、日志索引流量、标准存储量、冷存储量、转储费用,详细请参考计费项。关于500M免费额度的具体说明如下: 日志读写流量:按流量计费,每月免费赠送您500M额度,超过后按需收费。 日志索引流量:按流量计费,每月免费赠送您500M额度,超过后按需收费。 标准存储量:按存储空间计费,标准存储每月免费赠送您500M额度,超过后按需收费。 冷存储量:按存储空间计费,冷存储没有免费额度,按需收费。 转储费用:包括日志基础转储流量和日志高级转储流量,没有免费额度,按需收费。 收费详情请参见:LTS产品价格详情。 如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志采集,请参见:在LTS页面如何停止计费。 父主题: 计费FAQ
  • CCE用户没有开通LTS日志功能,为什么会开始计费? 用户在购买CCE集群时,系统会默认勾选自动采集容器标准输出,会采集日志(如标准输出日志)、指标、K8S事件等运维数据。如果想停止使用日志功能,请参考以下方法: 在云日志服务(LTS)控制台,单击左侧导航栏“主机管理”。 选择“主机”页签,单击“CCE集群”。 在CCE集群中,选择您需要关闭标准输出到 AOM 的CCE集群,关闭采集容器标准输出到AOM按钮。 单击“确定”,待ICAgent重启完成后,已关闭CCE标准输出到AOM。 父主题: 计费FAQ
  • 云日志服务的日志转储怎么计费? 云日志服务的日志转储功能免费公测即将结束(从24年430到24年630逐步在各Region启用转储计费)。在公测期间暂不收费,公测结束后将按流量计费,但是日志转储至OBS、DIS后,储存日志等功能由OBS和DIS独立计费,收费详情请参见:华为云 定价 。 目前华北-北京一、华北-北京二、华南-广州-友好用户环境、华南-深圳、西南-贵阳一、华东-上海二、华东-青岛、华北-乌兰察布一局点已全部开启日志转储计费功能。 父主题: 计费FAQ
  • 云日志服务LTS资源包相关问题 用户在云日志服务控制台购买了1个数量100GB的存储资源包,为什么在费用中心的资源包页面资源包详情总量显示72000GB? 答:单位不同导致展示的值不同。 在LTS控制台的按需套餐包购买页面,存储量的单位是GB/月,在费用中心控制台,存储量的单位是GB/小时。实际上100GB/月=100GB*1个数量*24小时*30天=72000GB/小时,两者是同一个意思;若购买的是2个数量100GB的资源包,总量2个数量*100GB/月=100GB*2个数量*24小时*30天=144000GB,根据购买数量依次类推。 LTS控制台使用GB/月是为了让用户更好理解;费用中心使用GB/小时的原因是LTS日志存储量的计费是按小时上报话单扣费,使用小时计算费用更加准确。 当月资源包没有使用完,会存到下个月吗? 答:不会,资源包剩余量=总量-已使用量,资源包到期后,剩余资源不会结余,自动清零。 日志存储量超过购买资源包的使用量,如何计费? 答:例如购买了1个100GB的存储资源包(总量为72000GB),第一天日志存储量为73000GB,到第二天存储资源包剩余量为0,超过的1000GB则以按需计费方式计算费用。 父主题: 计费FAQ
  • 在LTS页面安装ICAgent完成后显示离线怎么办? 在LTS页面安装ICAgent完成后显示离线,请按如下步骤检查: 检查ICAgent网络连接是否正常。 登录ICAgent所在的主机。 执行netstat -nap | grep icagent检查ICAgent进程网络连接 查看服务端30200、30201端口连接状态是否是ESTABLISHED,如果不是ESTABLISHED,则检查安全组是否放通30200、30201端口。 检查ICAgent认证是否成功。 执行cd /var/ICAgent进入ICAgent日志目录。 执行zgrep 'msworkflow' * | grep 'retCode\['查询ICAgent的认证日志。 查看认证返回码是200,则代表认证成功,若认证成功还是显示离线请联系技术支持工程师协助。 查看认证返回码不是200,则检查AK/SK是否正确。 检查安装ICAgent输入的AK/SK是否正确,若不正确,请获取正确的AK/SK后重新安装ICAgent。 父主题: 主机管理
  • 日志接入 使用ICAgent收集日志时CPU占用较高怎么处理? 云日志服务LTS支持采集的日志类型和文件类型有哪些? 在AOM关闭超额继续采集日志开关,会影响LTS收集日志吗? 主机接入LTS后无法采集到日志? 如何在LTS页面关闭CCE标准输出日志默认采集到AOM? 使用ICAgent采集日志时,推荐的日志轮转方案是什么? 是否支持Log4j插件上报日志到LTS? LTS配置日志接入后多久有日志?
  • 主机管理 在Windows环境下安装ICAgent失败并提示"SERVICE STOP"怎么办? 在LTS页面升级ICAgent失败怎么办? 在LTS原始日志页面无法查询新产生的日志怎么办? 安装ICAgent完成后反复重启怎么办? 在LTS页面安装ICAgent完成后显示离线怎么办? 在LTS页面安装ICAgent完成后不显示怎么办? 如何创建终端节点? 如何获取AK/SK? 如何通过创建委托授权安装ICAgent?
  • 排查方法 确认日志采集开关是否开启。 登录云日志服务LTS控制台,选择“配置中心”。 在“日志采集开关”页签,确认日志采集开关是否开启,若没有开启,需要开启日志采集开关。 检查最近一次下发的日志采集开关配置。 登录ICAgent所在的ecs主机。 执行“cd /var/ICAgent”进入ICAgent日志目录。 执行如下命令,查询日志采集配置。 zgrep switchList *.zip //查询已转储日志压缩包 cat oss.icAgent.trace | grep switchList //查询当前日志文件 从过滤结果查找日志时间最新的配置,并查看switch.log是否为true(代表开启日志采集开关)。 检查日志采集开关文件的内容switch.log是否为true(代表开启日志采集开关)。 登录ICAgent所在的主机。 查询日志采集开关文件。 cat /var/share/oss/manager/ICProbeAgent/internal/TRACE_CONFIG/swithes_context.json 日志采集开关文件的内容switch.log为true。 确认是否日志发送失败。 登录ICAgent所在ecs主机。 执行“cd /var/ICAgent”进入ICAgent日志目录。 查询发送失败日志。 cat oss.icAgent.trace | grep httpsend | grep 'dataType:TRACE' | grep failed zgrep 'dataType:TRACE' *.zip | grep httpsend | grep failed 若显示failed代表日志发送失败,则需要联系LTS技术支持工程师排查。 确认LTS下发配置。 登录ICAgent所在ecs主机。 执行“cd /var/ICAgent”进入ICAgent日志目录。 过滤日志文件查询LTS下发的日志采集配置。 cat oss.icAgent.trace | grep 'als event' | grep -v grep | tail -n 1 以上截图仅供参考,请以实际查询结果为准。从过滤结果查找用户实际设置的日志组、日志流以及采集路径,则确保已下发采集配置。 如果日志文件查询不到,则查询日志压缩包。 zgrep 'als event' *.zip | grep -v grep | tail -n 1 登录云日志服务LTS控制台,确认是否正确下发了采集配置。
  • 业务运营分析场景 场景描述:适用于在应用系统中打印业务日志,例如交易额、客户、产品等信息,然后使用LTS的SQL分析功能,输出可视化图表和仪表盘的场景。 使用建议: 日志采集方式:建议使用采集器ICAgent采集日志,将日志打印到单独的日志文件中,不要与应用程序的运行日志混在一起。不建议使用SDK、API上报日志。 日志结构化解析方式:建议您打印的业务日志使用空格分割或者JSON格式,这样方便快速配置日志结构化解析规则。 日志可视化呈现: 您可以创建自定义的仪表盘,使用类SQL语法分析已经结构化处理好的业务日志。自定义的仪表盘中,你可以添加多个图表,也可以添加过滤器,使用LTS做业务分析,可以减少采购 数据仓库 ,没有额外成本,上手更简单。 日志加工:有些时候想要分析的业务日志混在运行日志中,或者业务日志中有些敏感数据需要删除,或者有些数据缺少维度数据,这个时候可以使用DSL加工(23年930开始邀测)功能对日志进行规整、富化、流转、脱敏、过滤等操作。