检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DIS有哪些特点和优势? 无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。 易于使用:您可以在几秒钟内创建DIS数据通道,轻松地将数据放入通道中,并构建用于数据处理的应用程序。
bin/logstash-plugin install logstash-input-dis 安装完成后,显示类似如下内容,表示安装成功。
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。
Windows服务器上启动DIS Agent 进入DIS Agent程序的bin目录,例如“C:\dis-agent-X.X.X\bin”。 双击“start-dis-agent.bat”,启动DIS Agent。 若控制台前几行中打印出如下日志表示启动成功。
步骤1:开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户,再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。
步骤1:开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户,再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。
[3] 15:19:30.992 [main] INFO com.bigdata.dis.sdk.demo.ProducerDemo - ========== END PUT ============ 父主题: 使用SDK(Java)
运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig - get from classLoader 14:55:44.103 [main] INFOcom.bigdata.dis.sdk.util.config.ConfigurationUtils
运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig - get from classLoader 14:55:44.103 [main] INFOcom.bigdata.dis.sdk.util.config.ConfigurationUtils
bash bin/stop-dis-agent.sh 请确保使用bash执行脚本,否则使用sh、./ 等方式启动脚本,可能由于系统默认shell的差异导致启动失败。 显示类似如下内容,表示正在停止中。“xxxxx”表示进程ID。
export JAVA_HOME=解压后的jre文件夹路径,请根据实际情况填写 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.
bin/logstash -f local_to_dis.conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Output上传数据是否正常。
= 14:40:21.186 [main] INFOcom.bigdata.dis.sdk.util.config.ConfigurationUtils - get from classLoader 14:40:21.187 [main] INFOcom.bigdata.dis.sdk.util.config.ConfigurationUtils
= 14:40:21.186 [main] INFOcom.bigdata.dis.sdk.util.config.ConfigurationUtils - get from classLoader 14:40:21.187 [main] INFOcom.bigdata.dis.sdk.util.config.ConfigurationUtils
使用设备接入IoTDA写入数据至DIS 设备接入服务(IoT Device Access)是华为云的物联网平台,提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力,并可将设备数据灵活流转到华为云数据接入服务(DIS),帮助物联网行业用户快速完成设备联网及行业应用集成
须知: Windows平台下OBS若按照文本格式读取数据文件,遇到0x1A会作为EOF符号结束数据读入造成解析错误,这是Windows平台的实现约束。由于OBS不支持BINARY形式读取,可将相应数据文件交由Linux平台下的OBS读取。
单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。
console 其中bin/flume-ng agent表示启动Flume Agent;--conf-file 为用户编写的配置文件路径; --name 为配置文件中agent的名称, --conf 为Flume自带的conf/路径。
null\bin\winutils.exe in the Hadoop binaries.