检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkLtsLogProducer用于将数据写到云日志服务中。 producer只支持Flink at-least-once语义,在发生作业失败的情况下,写入云日志服务中的数据有可能会重复,但是绝对不会丢失。 用法示例如下,我们将模拟产生的字符串写入云日志服务: // 将数据序列化成日志服务的数据格式
rty>来指定。 独立部署的Flink集群:如果在独立模式下部署Flink集群,那么日志文件通常位于Flink安装目录下的log或logs文件夹中。如果Flink安装在/usr/local/flink,则日志文件可能位于/usr/local/flink/log 或 /usr/local/flink/logs。
不支持更新和删除结果表数据,只支持插入数据。 使用限制 仅flink1.12版本支持云日志服务提供的lts-flink-connector工具。 LTS服务不支持作为维表。 lts-flink-connector仅保证At-Least-Once语义。 lts-flink-connector source和sink日志不能为同一个日志流。
中间件-MySQL日志 自建中间件功能在邀测中,支持华北-北京四局点,仅针对用户内测使用,后续将全网开放,敬请期待! MySQL是一种广泛使用的关系型数据库管理系统。MySQL日志系统包含了多种不同类型的日志,用于记录MySQL服务器在运行时的各种活动和事件。这些日志对于数据库管
使用匿名写入采集日志 如果您需要收集和分析用户在浏览器、小程序上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、停留时间,可以使用匿名写入功能。只需在日志流页面开启匿名写入开关,就可以将用户行为信息上传到云日志服务的日志流中。 使用匿名写入采集日志功能仅支持华北-北京四、华
云数据库GaussDB(for MySQL)接入LTS LTS支持云数据库 GaussDB(for MySQL)日志接入。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方
云数据库RDS for MySQL接入LTS 支持云数据库RDS for MySQL日志接入LTS。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
自建中间件(邀测) 中间件-MySQL日志 中间件-Redis日志 中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
本文介绍云日志服务日志读写的限制。 表1 日志读写限制表 类别 限制项 说明 备注 华为账号 日志写入流量 您在1个华为账号下,写入流量最大为500MB/s。 如您有更大的使用需求,请提工单申请。 日志写入次数 您在1个华为账号下,写入次数最大为10000次/s。 如您有更大的使用需求,请提工单申请。 日志查询流量
云日志服务的保留字段__time__:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。 日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳 将__time以指定格式打印 将日志中的时间转换成指定格式
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
将LTS日志查询页面嵌入用户自建系统 LTS支持将日志查询界面嵌入到客户自建系统。通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免
Application Firewall, WAF),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。 WAF仪表盘模板支
则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹配或者类型转换失败。该批次数据不会写入DWS,其余批次正常写入DWS。 不涉及。 数据列过长 常见场景为数据超出string类型或者varchar长度限制。该批数据不会写入DWS,其余批次正常写入DWS。 不涉及。
将LTS日志查询页面嵌入用户自建系统 LTS支持将日志查询界面嵌入到客户自建系统。通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免
日志读写以日志流为单位,您可以在写入时指定日志流,将不同类型的日志分类存储,ICAgent采集日志后,将多条日志数据进行打包,以日志流为单位发往云日志服务,日志流的读写方式可以最大限度地减少读取与写入次数,提高业务效率。 例如,您可以将不同的日志(操作日志、访问日志等)写入不同的日志流,查询日志时可以进入对应的日志流快速查看日志。
选择不同的图表类型,将图表分析结果保存到仪表盘。 保存 对当前可视化图表进行保存。 另存为 对已有可视化图表进行复制。 下载 将图表分析结果下载到excel。 展开图表 可展开当前日志流下的可视化图表。 收起图表 可收起当前日志流下的可视化图表。 父主题: 使用统计图表将日志可视化
支持数字或字符串数据。 同比数据 选择待对比的字段,在图表中显示该字段对应的值。 主体设置 图表名称字号 设置图表名称的字号大小。 格式化 将数据按照指定格式进行显示。 数值字号 显示值的字号,取值范围为12px~80px。 数值单位 显示值的单位 单位字号 显示值单位的字号,取值范围为12px~50px。
日志下方默认使用表格展示日志数据查询结果,在通用配置下方,参考表1配置参数。 图1 表格 表1 表格参数说明 类别 参数 说明 标准配置 格式化 将表格数据按照指定格式进行显示。 单位 自定义配置表格数据的单位。 小数点位数 设置显示数值小数点位数。 图表名称字号 设置图表名称的字号大小。