检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
= '*' ORDER BY mb_in DESC LIMIT 10 访问域名图表所关联的查询分析语句如下所示: SELECT http_host, count( 1 ) AS "被访问次数" GROUP
= '*' ORDER BY mb_in DESC LIMIT 10 访问域名图表所关联的查询分析语句如下所示: * | SELECT http_host, count( 1 ) AS "被访问次数"
ICAgent侧发现文件变更后,读取文件的内容,分块发送到处理模块,进行单行、多行、结构化、拆分、添加标签等日志处理动作,再将处理好的任务提交到发送任务池后,上报到LTS。
表结构变更 如果投递过程中,在DWS表中添加非必须的新列,则不影响转储; 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹配或者类型转换失败。
标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签”,分别填写标签键key和标签值value。
KV解析日志:用空格分隔字符串并且转换为Map类型字符串。
KV解析日志:用空格分隔字符串并且转换为Map类型字符串。
如switched from RUNNING to FINISHED表示任务从运行状态切换到完成状态。 错误信息 如果日志级别为ERROR,则可能包含有关错误的详细信息。 如 Job 83529a6b73e4a3f7046f695a27f67f32 failed.
标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签”,分别填写标签键key和标签值value。
SELECT TIME_PARSE("timestamp",'yyyy-MM-dd HH:mm:ss','+08:00') MILLIS_TO_TIMESTAMP(expr) 将时间戳转换为时间格式。
创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic 否 String DMS转储kafka topic。当创建DMS转储时,必填此参数。
数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。
若需要更换日志流,单击左上角跨流搜索旁边,在弹出的页面重新选择日志流进行搜索。 搜索完成后,单击右上角的“退出跨流搜索”,即可返回当前日志流搜索页面。 当跨流搜索的日志流的分词配置不同时,会导致跨流日志关键词高亮不一致。 最多可同时搜索50个日志流。
在用户组页面创建IAM用户组(用户组名以GroupC为例)并授予全局服务中的Agent Operator权限,该权限仅能切换角色至委托方账号中,访问授权的服务,具体方法请参见:创建用户组并授权。
日志转储过程中,会将云日志服务中的日志字段由string类型转换为ORC目标类型。如果转换到非string类型失败,int/long/float/double类型会置为默认值0。 - 无效字段填充 转储格式选择ORC时支持设置无效字段填充。
日志上传策略 检测到文件变更,会立即读取上传,单次可以上报1条或者多条日志。 不涉及。 网络错误处理 在出现网络异常时会主动重试,间隔5秒。 不涉及。
在用户组页面创建IAM用户组(用户组名以GroupC为例)并授予全局服务中的Agent Operator权限,该权限仅能切换角色至委托方账号中,访问授权的服务,具体方法请参见:创建用户组并授权。
cd icagentK8s 生成安装命令: 选择接入日志的区域名。 选择接入日志的账号的项目ID。 k8s集群所在区域,选择“区域内”。 安装ICAgent。
依次调用操作,将日志传递转换并返回最后的日志。 对于某一条日志,如果其中某一操作删除了日志,则不会再执行后续操作。 支持和其他函数组合使用。 e_if 条件与操作组合。 满足条件则进行对应操作,不满足条件则不进行对应操作,直接进行下一个条件判断。
例如: "request method":GET message:"This is a log" time:"09:00:00" ipv6:"2024:AC8:2ac::d09" request_method:GET "" 使用双引号("")包裹一个语法关键词,可以将该语法关键词转换成普通字符