检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 在线安装无需下载插件包,直接连接公网即可安装。 前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。
道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及机器学习,对客户进行分类和信息查询,识别出大型客户,加强服务,进一步提升客户满意度。
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。
Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS
中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStream接口检测通道分区数量的变化,以便DIS可以下载到所有分区的数据。 自动扩缩容 自动扩缩容原理 当上一分钟内通道触发流控(即超过通道内分区最大吞吐量
如果行尾换行符丢失,使两行变成一行时,设置此参数为true将导致后一行数据被忽略掉。 compatible_illegal_chars 导入非法字符容错参数。此语法仅对READ ONLY的外表有效。 取值范围:true/on,false/off。缺省值为false/off。 参数为true/on,则导
据格式为JSON格式。 data_schema:源数据Schema,用于描述JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。 请求响应成功后,返回201 Created,表示通道创建成功。 若请求失败,则会返回错误码及对应的错误信息说明,详细错误码信息请参考错误码。
当自动扩缩容启用时,自动扩容的最大分片数。 data_schema 否 String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。 csv_properties 否 CSVProperties object CSV 格式数据的相关属性,比如分隔符 delimiter
BLOB JSON CSV data_schema String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。Avro介绍您也可以点击这里查看。 compression_format String 数据的压缩类型,目前支持: snappy gzip
BLOB JSON CSV data_schema 否 String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。 auto_scale_enabled 否 Boolean 是否开启自动扩缩容。 true:开启自动扩缩容。 false:关闭自动扩缩容。