检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工。 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。 高级配置 对于加工语句中需要
分布式缓存服务DCS接入LTS 支持分布式缓存服务DCS日志接入LTS。命令审计日志,是记录客户端访问DCS操作的一种日志,由华为云的云日志服务(LTS)提供存储、查询和分析等功能。 具体接入方法请参见查看Redis实例的命令审计日志。 父主题: 使用云服务接入LTS
分布式消息服务Kafka版接入LTS 支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。
ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,是将复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的系统,并以一系列简单易用的原子操作提供给用户使用。ZooKeeper的主要功能包括配置维护、域名服务、分布式同步、组服务等。它提供了一个分布式独享锁、选举、队
操作系统限制 LTS日志采集支持多个操作系统,在购买主机时您需选择LTS支持的操作系统,否则无法使用LTS对主机日志进行采集。 表1 LTS支持的操作系统及版本(Linux) 操作系统 版本 SUSE SUSE Enterprise 11 SP4 64bit SUSE Enterprise
存储SQL分析结果的日志组/日志流。 在调度配置中,完成如下配置。 表2 调度配置参数 参数 说明 调度间隔 调度定时SQL任务的频率,每调度一次定时SQL任务将产生一个执行实例。调度间隔决定每个执行实例的调度时间。 每小时:每隔一小时调度一次定时SQL任务。 每天:在每天的某个固定时间点调度一次定时SQL任务。
面。 单击“转储对象”列的名称,可跳转到专享版Kafka实例的基本信息页面。 创建转储任务成功后,支持查看、修改、删除转储任务。 转储任务一旦删除将不再对日志进行转储,请谨慎操作。 删除转储任务后,之前已经转储日志将会继续保存在DMS。 注册Kafka实例 如果选择Kafka实例
使用Flume采集器上报日志到LTS Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协
使用Flume采集器上报日志到LTS Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协
志规整、富化、流转、脱敏、过滤等加工任务。 云日志服务支持DSL(Domain Specific Language)仪表盘模板,DSL加工任务监控中心主要展示加工任务ID、加工任务名称、输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。
apache.flink.runtime.taskmanager.Task 任务/作业信息 日志中可能包含任务或作业的相关信息,如任务名称、任务ID、作业ID等。在这个示例中,有任务名称 Source: Custom Source -> Map (1/1) 和作业ID 83529a6b
每个日志生成指标规则后台会默认分配1个后台执行任务,单个后台执行任务能处理的源日志流量有一定的性能规格。如果您的源日志流量超过单个后台执行任务的处理规格,支持提工单申请配置扩大单个规则的后台执行任务数量。 如果您的日志生成指标规则太多,导致剩余可用的后台执行任务的数量已经耗尽,那么会有部分日志生成指标规则不会被调度执行。
问题现象 在Windows环境下ICAgent安装失败,提示“SERVICE STOP”。 安装失败后,可能出现以下情况: 任务管理器中不存在ICAgent任务。 系统服务列表中不存在ICAgent服务。 命令行工具下执行sc query icagent提示未找到。 可能原因 一般为杀
SQL属性信息请参考开发SQL脚本。 设置完成DLI SQL属性后,单击空白处,单击“调度配置”,设置定时操作时间,详细操作请参考调度作业。 设置完成后,先单击提交版本,然后单击,作业执行调度触发成功。 父主题: 日志转储
Name System,域名系统)是互联网的一项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。当用户在浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。 DNS日志是记录域名系统相关活动的记录文件。
将LTS日志查询页面嵌入用户自建系统 LTS支持将日志查询界面嵌入到客户自建系统。通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免密登录LTS的场
将LTS日志查询页面嵌入用户自建系统 LTS支持将日志查询界面嵌入到客户自建系统。通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免密登录LTS的场
DMS仪表盘模板 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情,包括Reb
送还是加工,如何进行优化? 用户运营,经常搞一些优惠活动,但无法获得效果。 调度问题,如何帮助商家在高峰时提前备货?如何调度更多的快递员到指定区域? 客服服务,用户反馈下单失败,用户背后的操作是什么?系统是否有错误? 数据采集面临的难点 在数据化运营的过程中,第一步是如何将散落的
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型: