检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
范围,个人信息处理者的名称和联系方式等。 您的产品及服务如涉及向第三方共享个人信息或集成了第三方的SDK时,需要在隐私政策中向用户进行披露和说明,获取用户的授权或同意。 (二)处理个人信息要求 您的产品及服务在处理用户个人信息时,需要遵守的要求包括不限于如下: 处理个人信息需要基于使用目的所必需,满足最小化原则。
优点:在CCE界面可以根据命名空间、工作负载、容器名称直接查看对应的日志,将所有日志采集到一个日志流。 缺点: 不同的工作负载的日志结构不一样,采集到一个日志流后无法配置结构化解析,无法使用SQL可视化分析。 单个日志流的写入速率上限是100MB/S,集中采集对于大流量场景有性能瓶颈。 采集到自定义日志流 优点:
String 错误码。 error_msg String 调用失败响应信息描述。 状态码: 500 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 请求示例 若不传参数则查询所有日志转储
输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。 目前此功能仅支持华北-乌兰察布二零一、华北-乌兰察
都发生变化,ICAgent将无法保证一定会采集到该轮转文件末尾未被采集的少量日志。 例如:假设您轮转后的文件被压缩,文件名为:/your/log/path/**/*.log.xxx.zip,该文件的文件名和inode都发生变化,则ICAgent将无法保证一定会采集到该轮转文件末尾未被采集的少量日志。
500 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 请求示例 查询当前结构化模板详情 GET https://{endpoint}/v3/{project_id}/lts/s
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工,常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下: 方案 关键字提取 值提取
字段名称只能包括字母、数字或下划线(_),且只能以字母或下划线(_)开头,字段名称中不能含有双下划线。 说明: 双下划线(__)在LTS不对用户呈现的内置保留字段中使用,用户自定义日志字段名中不能使用双下划线__,否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引,请参见内置保留字段。
图表查询时间不能超过1小时。 若想添加多个图表,可单击继续添加。 说明: 单击跳转到日志流的可视化查看详情界面。 单击 删除该直接添加的图表。 单击“预览”可查看可视化分析后的数据。必须要执行“预览”,否则将无法保存该告警规则。 最多支持添加3个图表。 图表不能为空,且图表中的sql查询语句不能为空。
默认开启格式化,JSON默认展开层级为2层。若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 日志折叠设置
FlinkLtsLogProducer用于将数据写到云日志服务中。 producer只支持Flink at-least-once语义,在发生作业失败的情况下,写入云日志服务中的数据有可能会重复,但是绝对不会丢失。 用法示例如下,我们将模拟产生的字符串写入云日志服务: // 将数据序列化成日志服务的数据格式
API凭证”。 获取需要上报到LTS的日志组ID和日志流ID。 日志流需要开启匿名写入功能。详细操作请参考管理日志流。 版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。 您集成和使用我们的SDK时需要遵从个人信息保护基本要求,详情请参考华为云日志
当星号(*)和问号(?)作为分词符时,不具备模糊搜索功能,其中问号(?)为默认的分词符,使用其模糊搜索功能前需将其从分词符中移除。 星号(*)或问号(?)不能用在词的开头。 long数据类型和float数据类型不支持使用星号(*)或问号(?)进行模糊搜索。 当模糊条件前缀很短且日志中符合条件的词超过100个时,查询结果会不精确。
正则分析(手动输入)、JSON格式、分隔符、Nginx和自定义模板的字段名称需要满足如下要求: 只支持输入英文、数字、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置
在“我的凭证”页面,单击“访问密钥”页签。 单击“新增访问密钥”。 图3 新增访问密钥 每个用户最多可创建2个访问密钥,不支持增加配额。如果您已拥有2个访问密钥,将无法创建访问密钥。 如需修改访问密钥,请删除访问密钥后重新创建。 为了保证历史兼容性,我们会使用访问密钥创建时间作为最近使用时间的初始值。在您
时间戳、日期时间对象以及日期时间字符串等不同类型的参数,实现智能转换。 专用函数 智能转换函数无法满足用户的全部需求。如对于用户自定义的特殊日期格式,dt_parse等智能转换函数无法自动解析日志,需要使用dt_strptime函数来进行解析指定格式。 父主题: 使用DSL加工函数处理日期时间
CAgent结构化方式上报日志,云端结构化方式会引起日志时间乱序严重从而导致无法在统计周期内处理日志,使得统计结果存在偏差。 限制条件 单个用户最多可创建10个日志指标规则,所有规则中添加的指标总数不能超过10。 创建日志指标规则 登录云日志服务控制台。 在左侧导航栏中选择“日志加工”。
event_severity String 告警级别 event_name String 告警名称 resource_type String 资源类型 resource_id String 日志组/流名称 resource_provider String 告警源 lts_alarm_type
String 错误码。 error_msg String 调用失败响应信息描述。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 请求示例 修改ELB系统模板 { "log_group_id"