检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容,支持定期更新数据。 支持和其他函数组合使用。 res_local 使用res_local函数从当前数据加工任务中拉取高级参数配置信息。支持和其他函数组合使用。
申请开通。 时间字段 时间字段类型 云日志服务的保留字段__time:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。 日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳
ime)和处理事件(processing-time)语义)。 Flink 的系统日志通常包含了关于 Flink 运行时的各种信息,如任务执行情况、错误信息、资源使用情况等。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。
"sec_iphone": "139****1234", "iphone": 13900001234 } 场景2:银行卡信息脱敏 日志中包含银行卡或者信用卡信息,可采用正则表达式,运用regex_replace函数脱敏。 原始日志 { "content":"bank number
场景六:使用e_if函数或e_switch函数判断日志并增加字段 推荐使用e_if函数或e_switch函数进行日志判断。更多信息,请参见流程控制函数。 e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_sw
code String 错误码。 details String 调用失败响应信息描述。 状态码: 401 表6 响应Body参数 参数 参数类型 描述 message Message401 object 接口调用信息。 表7 Message401 参数 参数类型 描述 code String
创建DSL加工任务 登录云日志服务控制台。 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基本信息页面中,完成如下配置后,然后单击“下一步”。 表1 基本信息参数 参数 说明 任务名称 DSL加工任务的名称。长度范围为1~128个字符,支持字符a-z、A-Z、0-9、_、-
错误码。 error_msg String 调用失败响应信息描述。 状态码: 401 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 状态码: 403 表5 响应Body参数 参数
日志过期时间(默认,int) } 请求响应成功后,返回已创建日志组的信息。 { "log_group_id":"2a0089e4-3001-11e9-9e9d-286ed48xxx", //日志组id(String) } 若请求失败,则会返回错误码及对应的错误信息说明,详情请参考:错误码。
错误码。 error_msg String 调用失败响应信息描述。 状态码: 401 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 状态码: 403 表5 响应Body参数 参数
现在配置”,在“委托”中选择已创建的委托名称。待剩余参数配置完成后,单击“立刻购买”即可。 在管理信息下方的“委托”后,单击,选择已创建的委托名称,单击即可生效。更多关于委托的信息,请参见委托其他账号管理资源。 父主题: 主机管理
使用ICAgent采集日志时,推荐的日志轮转方案是什么? 日志轮转也叫日志切割或日志绕接,通俗来讲是对日志文件的大小进行控制。 软件系统通常会长时间的不停机运行,这样会产生很多信息记录到不同的日志中。随着时间的推移,日志的容量自然会越来越大,而硬盘的空间是有限的,就需要对日志文件的大小进行控制。 常用的日志轮转方式有两种:按时间轮转和按日志大小轮转。
dt_parsetimestamp智能转换函数,可以将日期时间字符串或日期时间对象转换为Unix时间戳。 场景1:不带时区信息的日期时间字符串类型转换为Unix时间戳。 对于不带时区信息的日期时间字符串如2019-06-02 18:41:26,将日期时间转化为Unix时间戳,需要指定该日期时间
"xdomain_type": "", "default_project_id": null } } 当接口调用出错时,会返回错误码及错误信息说明,错误响应的Body体格式如下所示。 { "error_msg": "Request body is invalid.",
错误码。 error_msg String 调用失败响应信息描述。 状态码: 500 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 请求示例 打开超额采集开关 POST http
错误码。 error_msg String 调用失败响应信息描述。 状态码: 500 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 请求示例 关闭超额采集开关 POST http
e_search(querystring) 参数说明 参数名称 参数类型 是否必填 说明 querystring String 是 查询字符串,用于快速过滤日志的查询字符串。 返回结果 满足条件返回true,否则返回false。 函数参考示例 # 全文 e_search("active error")#
错误码。 error_msg String 调用失败响应信息描述。 状态码: 401 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 状态码: 403 表9 响应Body参数 参数
ICAgent采集原理 云日志服务安装ICAgent后,会对所关联的日志文件进行实时监听。ICAgent侧收到LTS接入页面下发的采集配置后,会定时解析采集配置信息,获取到采集路径后在节点上进行路径匹配,将节点上对应的文件加入监控任务中,通过轮询和inotify感知目标日志文件的变化。 ICAgent
错误码。 error_msg String 调用失败响应信息描述。 状态码: 401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 调用失败响应信息描述。 状态码: 403 表8 响应Body参数 参数