检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Plugin包 https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/获取“dis-logstash-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Logstash Plugin上传与下载数据
Streaming使用流程如图1所示。 图1 DIS Spark Streaming使用流程 父主题: 使用DIS Spark Streaming下载数据
Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
Client上传数据的用户,以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
SDK软件包及校验文件后,可以在Linux系统上按如下步骤对软件包的完整性进行校验。 前提条件 已获取“PuTTY”工具。 已获取“WinSCP”工具。 操作步骤 使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。 x.x
protobuf:DIS数据包封装为二进制格式,可以减少体积约1/3,在数据量较大的情况下推荐使用此格式。 json 父主题: 使用DIS Flume Plugin上传与下载数据
出现类似如下提示,表示卸载成功。 Uninstall dis-flume-plugin successfully. 父主题: 使用DIS Flume Plugin上传与下载数据
Client上传数据的用户,以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题: 使用DIS Flink Connector上传与下载数据
Source正常启动,其中“disSource”是用户配置的source名称。 检查DIS Source下载数据是否正常。 向source指向的通道上传数据,如果flume没有报错且sink端能正常获取到数据,表示下载正常。 如果使用步骤 2中示例的配置,则从DIS获取的数据会输出到控制台上,其内容显示为字节数组格式。
成功。 Install dis-flume-plugin successfully. 父主题: 使用DIS Flume Plugin上传与下载数据
如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常; 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Spark Streaming下载数据
e>解除注释(防止以后打包会把flink依赖也打进来),然后停止数据上传程序。 父主题: 使用DIS Flink Connector上传与下载数据
Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash中的数据上传到DIS服务。 DIS Logstash Plugin安装流程如图1所示。 图1 安装流程图 父主题: 使用DIS Logstash Plugin上传与下载数据
Plugin是数据接入服务(DIS)为Flume开发的插件,包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。
Logstash Input下载数据是否正常。 向input指向的通道上传数据,如果Logstash没有报错且output端能正常获取到数据,表示下载正常。 登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS Logstash
如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常; 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
Uninstall dis-logstash-plugins successfully. 父主题: 使用DIS Logstash Plugin上传与下载数据