检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据
0; Windows NT 5.1; Trident/4.0; SV1; GTB7.0; .NET4.0C; $ssl_protocol SSL协议版本。 TLSv1 $ssl_cipher 交换数据中的算法。 RC4-SHA $upstream_addr 后台upstream的地址,即真正提供服务的主机地址。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另
入成功后,云日志服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和格式,方便进行搜索与
日志服务左侧导航栏中选择“主机管理 > 主机”,查看该服务器中ICAgent的状态。 如果安装失败,请卸载ICAgent后重新安装,如果还未安装成功,请联系技术支持。 首次安装(Windows环境) 在云日志服务管理控制台,左侧导航栏选择“主机管理 > 主机”,进入“主机”页面。
具体请参考表1。 在数学运算中,如果表达式里涉及的操作数皆为整数,那么SQL将会采用整数运算,否则便会切换到浮点运算。您可以将其中一个操作数转换为FLOAT类型来强制进行切换,运行时SQL会将大多数表达式中的32位浮点数扩展到64位。 语法格式 SELECT ABS(fieldname1)
日志搜索与分析 分页显示查询分析结果 本实践介绍查询结果和分析结果的分页方法。 日志搜索与分析 使用时间函数将日志时间字段转换为指定格式 本实践介绍时间字段的常用转换示例。 日志转储 批量修改LTS日志文件转储时区 本实践主要介绍通过Python脚本结合LTS API接口实现自定义的批量操作。
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
123** str_lower 将字符串中所有大写字符转换为小写字符。 函数格式 str_lower(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被转换的字符串。 返回结果 转换后的字符串。 函数示例 测试数据 { "name":
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作,并返回单个表达式。如果没有表达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL,结果是 NULL,否则,NULL 参数被忽略。 如果所有的参数包含了数字和字符串的混合,参数都被解释为字符串。
将字符串格式的IP地址转换成长整型数据。 函数格式 ip2long(value,default=0) 参数说明 参数名称 参数类型 是否必填 说明 value String 是 需要被转换的值。 default String 否 某个不合法的IP地址被转换成的值。 返回结果 转换后的长整型数据。
过255。 企业项目 选择业务需要的企业项目,默认为default。也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 添加到仪表盘分组 将新建的仪表盘进行分组管理。 不开启“添加到仪表盘分组”,新建仪表盘会添加到系统自带的“默认分组”中。 开启“添加到仪表盘分组”,新建仪表盘按“分组类型”进行添加:
参见表1 最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。 如果字段中既有数字也有字符串,则函数将它们作为字符串进行比较。
表结构变更 如果投递过程中,在DWS表中添加非必须的新列,则不影响转储; 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹配或者类型转换失败。
托名称。待剩余参数配置完成后,单击“立刻购买”即可。 在管理信息下方的“委托”后,单击,选择已创建的委托名称,单击即可生效。更多关于委托的信息,请参见委托其他账号管理资源。 在云日志服务管理控制台,左侧导航栏选择“主机管理 > 主机”,进入“主机”页面。 单击右上角“安装ICAgent”。
使用KAFKA协议上报日志到LTS 您可以通过Kafka协议上报日志到日志服务,目前支持各类Kafka Producer SDK或采集工具,仅依赖于Kafka协议。支持以下场景: 场景1:已有基于开源采集的自建系统,仅修改配置文件便可以将日志上报到 LTS,例如Logstash。
在LTS页面分析Log4j格式的应用运行日志 背景信息 Log4j是Apache的一个开源项目,通过使用Log4j工具,我们可以将日志输出并保存到日志文件中,开发或运维人员会基于该日志统计日志级别的数量和占比,或者通过运行日志统计业务数据。 如统计今天某商品的交易量,示例日志如下:
在Windows环境下ICAgent安装失败,提示“SERVICE STOP”。 安装失败后,可能出现以下情况: 任务管理器中不存在ICAgent任务。 系统服务列表中不存在ICAgent服务。 命令行工具下执行sc query icagent提示未找到。 可能原因 一般为杀毒软件,如360安全卫士等,拦截了ICAgent服务注册。
集群的数据库名称。有两种数据库,分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”。 gaussdb 用户名 数据库的管理员用户名。 lts-test 密码 数据库的管理员密码。 - schema名称 数据库对象的集合名称。 - 表名 schema中的表名称。 - 字段映射 将内置字
的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型: 主要日志(cluster-name.log,以集群名称命名:记录了ElasticSearch运行时所发生一切的综合