检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。
在线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 在线安装无需下载插件包,直接连接公网即可安装。 前提条件 已安装PuTTY工具。
END_OF_FILE:开始启动时不解析当前匹配的文件,而是从新增文件或新增的内容开始按分隔符解析并上传。 START_OF_FILE:将“filePattern”配置的所有匹配文件按照修改时间,从旧到新按分隔符解析并上传到DIS服务。
“agent.yml”中配置的监控目录下有匹配的文件,日志中会输出类似如下日志,表示解析了[N1行(B1字节数)/N2文件(B2字节数)],成功上传了[N3行/N4文件]。
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。
END_OF_FILE:开始启动时不解析当前匹配的文件,而是从新增文件或新增的内容开始按分隔符解析并上传。 START_OF_FILE:将“filePattern”配置的所有匹配文件按照修改时间,从旧到新按分隔符解析并上传到DIS服务。
例如: 文本框中单击“格式化”,可格式化解析数据。例如: 文本框中单击,可删除源数据样例。 创建源数据Schema(直接创建方式) 找到创建源数据Schema入口后,按照如下方法创建源数据Schema: 单击“源数据Schema”后的“直接创建”。
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
须知: Windows平台下OBS若按照文本格式读取数据文件,遇到0x1A会作为EOF符号结束数据读入造成解析错误,这是Windows平台的实现约束。由于OBS不支持BINARY形式读取,可将相应数据文件交由Linux平台下的OBS读取。
无法解析签名 请检查请求头里的签名信息。 441 DIS.4103 Empty X-Sdk-Date header. 请求头里的X-Sdk-Date字段为空 请检查请求头里的X-Sdk-Date字段并补齐。