检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X.X.X.zip”压缩包。
检查DIS Sink上传数据是否正常。 向Flume的source端输入数据,在DIS Sink的resultLogLevel级别不为OFF且不低于log4j配置的值,查看日志输出类似如下结果,表示DIS Sink上传数据正常。
获取方式请参见检查认证信息。 请根据实际情况配置 SK 是 用户的Secret Key。 说明: 支持用户自己加密SK以保证安全,也可以使用明文的SK,如若需要对SK加密,请查看表格下关于AK/SK加密的使用说明。 获取方式请参见检查认证信息。
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 sequence_number String 序列号,用来记录该通道的消费检查点。 metadata String 用户消费程序端的元数据信息。
0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002 sequence_number 是 String 需要提交的序列号,用来记录该通道的消费检查点
0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002 sequence_number String 需要提交的序列号,用来记录该通道的消费检查点
true maxFileCheckingMillis 否 最长文件变动检查时间,如果文件在此时间内“大小”、“修改时间”和“文件ID”都没有变化,则认为文件已经完成并开始上传。 请根据实际文件变动的频率配置此值,避免文件未完成已开始上传的情况。