检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI和DWS快速对接LTS:DLI-Flink简易集成Connector,定点从LTS实时消费日志;LTS日志可快速配置转储到OBS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。
表1 日志转储限制 类别 限制项 说明 备注 转储OBS 单个日志流转储任务数量 1 个日志流只能配置一个转储OBS任务。 不涉及。 转储周期 2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 不涉及。 每次转储数据大小 0MB-2GB。 不涉及。
目前LTS暂时不收取告警规则、告警管理等其他费用,降低告警系统的运维成本和运维人员的时间成本。后续如有收费计划将至少提前1个月通知您。 短信通知按实际用量付费,详细请参考消息通知服务的计费说明。语音是白名单功能,具体收费请参考计费说明。 快速响应异常问题。
超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)中长期保存。日志转储基于复制的转储机制,在LTS设置的存储时间内转储至OBS的日志,不会在LTS被删除。
超过免费额度后,将无法再进行日志读写和索引,同时也不再产生日志读写和索引费用。此时需要打开“超额继续采集日志”开关,详细说明请参见:配额设置。 当前账号欠费,故采集器停止采集。客户欠费后,为防止相关资源不被停止或者释放,需要客户及时进行充值,详细说明请参见:欠费还款。
日志数据服务间集成:日志转储OBS/DWS/DIS/DLI/DMS,助力用户快速构建水平解决方案。 图1 云日志服务示意图
超出存储时间的日志将会被自动删除,您可以按需将日志数据转储至OBS桶中进行长期存储。 目前仅支持白名单用户提交工单申请开通日志存储时间为1095天,但是存量Region需要根据底层资源评估是否支持1095天。 智能冷存储 开启日志存储时间后,根据业务需要设置智能冷存储功能。
MySQL接入LTS 云数据库RDS for PostgreSQL接入LTS 云数据库RDS for SQLServer接入LTS 应用与数据集成平台ROMA Connect接入LTS 视频直播Live接入LTS 消息通知服务SMN接入LTS 安全云脑SecMaster接入LTS 对象存储服务
已在DLI中创建数据库和表,创建数据库表时数据位置选择OBS,数据格式选择JSON。详细操作请参见创建数据库和表。 已在DLI中创建队列,该队列将用来将数据导入DLI的表中。详细操作请参见创建队列。
使用YUM或RPM安装的Grafana: unzip LTS-Grafana-OBS-Static.1.0.10.zip -d /var/lib/grafana/plugins 使用.tar.gz文件安装的Grafana: {PATH_TO}为Grafana的安装路径,{VERSION
常用操作 搜索日志 设置快速查询语句 可视化 仪表盘 日志告警 转储至OBS 02 入门 快速了解云日志服务在不同应用场景中的操作流程。 快速入门 使用ICAgent插件采集ECS文本日志到LTS 04 SDK 通过云日志服务的SDK调用示例,您可以使用SDK上报日志。
云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 图1 不同解析方式 注意事项 日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则,否则结构化是无意义的。
使用YUM或RPM安装的Grafana: unzip LTS-Grafana-OBS-Static.2.0.1.zip -d /var/lib/grafana/plugins 使用.tar.gz文件安装的Grafana: {PATH_TO}为Grafana的安装路径,{VERSION
云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 图1 不同解析方式 注意事项 日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则,否则结构化是无意义的。
降低存储成本: 使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OBS仅贵25%,但是可以支持搜索,在易用性和成本上是最佳选择。 转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。
前往创建转储(白名单功能):通过OBS转储任务下载日志文件,单次下载支持最大2,000万条日志。单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储至OBS。 鼠标悬浮在按钮上,单击“日志下载历史”,在日志下载历史页面,支持查看、下载、删除日志下载记录。
前往创建转储(白名单功能):通过OBS转储任务下载日志文件,单次下载支持最大2,000万条日志。单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储至OBS。 鼠标悬浮在按钮上,单击“日志下载历史”,在日志下载历史页面,支持查看、下载、删除日志下载记录。
{obs_domain}:80 {跳板机私有IP} 以root用户登录跳板机,执行复制的SSH Tunnel转发命令。 执行netstat -lnp | grep ssh命令查看对应端口是否被侦听,如果返回结果如图4所示,说明TCP端口已开通。
超出存储时间的日志将会被自动删除,您可以按需将日志数据转储至OBS桶中长期存储。 如果您的日志尚未接入LTS,请参考日志接入,创建日志接入规则,并配置结构化解析规则。 选择日志流,若没有,则单击创建日志流。
zgrep runtime oss.script.*.zip 若有回显结果,表示ICAgent有异常,请根据实际回显情况排查处理。 若没有回显结果,表示ICAgent使用正常。 父主题: 主机管理