-
步骤1:开通DIS通道 - 数据接入服务 DIS
步骤1:开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户,再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数
-
步骤1:开通DIS通道 - 数据接入服务 DIS
步骤1:开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户,再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数
-
使用设备接入IoTDA写入数据至DIS - 数据接入服务 DIS
Device Access)是华为云的物联网平台,提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力,并可将设备数据灵活流转到华为云数据接入服务(DIS),帮助物联网行业用户快速完成设备联网及行业应用集成。 通过添加数据转发规则
-
支持的监控指标 - 数据接入服务 DIS
dis01_stream_put_bytes_rate 总输入流量 该指标用于统计指定时间范围内,通道上传数据量。 单位:byte/s。 ≥ 0 bytes/s 通道 1分钟 dis02_stream_get_bytes_rate 总输出流量 该指标用于统计指定时间范围内,通道下载数据量。 单位:byte/s。
-
应用场景 - 数据接入服务 DIS
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及
-
自动创建委托 - 数据接入服务 DIS
务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。
-
自动创建委托 - 数据接入服务 DIS
务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。 父主题: 入门
-
转储至DWS - 数据接入服务 DIS
报错,中断导入。 须知: Windows平台下OBS若按照文本格式读取数据文件,遇到0x1A会作为EOF符号结束数据读入造成解析错误,这是Windows平台的实现约束。由于OBS不支持BINARY形式读取,可将相应数据文件交由Linux平台下的OBS读取。 说明: 导入非法字符容错规则如下:
-
与原生KafkaConsumer接口适配说明 - 数据接入服务 DIS
接口 支持 关闭consumer Map<MetricName, ? extends Metric> metrics() 接口 不支持 获取统计信息 wakeup() 接口 不支持 内部实现原理不一样,不需要。 group.id 参数 支持 消费组ID client.id 参数 支持
-
与原生KafkaConsumer接口适配说明 - 数据接入服务 DIS
接口 支持 关闭consumer Map<MetricName, ? extends Metric> metrics() 接口 不支持 获取统计信息 wakeup() 接口 不支持 内部实现原理不一样,不需要。 group.id 参数 支持 消费组ID client.id 参数 支持
-
概述 - 数据接入服务 DIS
概述 欢迎使用数据接入服务(Data Ingestion Service, DIS)。数据接入服务面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传
-
自定义SparkStreaming作业 - 数据接入服务 DIS
此时IDEA打开的DISSparkStreamingExample文件内没有错误即表示开发环境配置成功,此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。 DISSparkStreamingExample是一个使用Assign模式的样例,不具备停止再启动时从上一次停止位置开始的能力。使用到的SDK构造方法如下:
-
上传数据 - 数据接入服务 DIS
强制发送当前缓存数据,后续支持 Map<MetricName, ? extends Metric> metrics() 接口 不支持 获取统计信息 key.serializer 参数 支持 含义与kafka设置相同,但默认值为StringSerializer (kafka必须配置)
-
上传数据 - 数据接入服务 DIS
强制发送当前缓存数据,后续支持 Map<MetricName, ? extends Metric> metrics() 接口 不支持 获取统计信息 key.serializer 参数 支持 含义与kafka设置相同,但默认值为StringSerializer (kafka必须配置)
-
权限策略及授权项 - 数据接入服务 DIS
dis:tags:list √ × 备注:对应不存在表1中的授权项,例如:查看App Quota:/{projectId}/quotas,首页概览页面查看DIS资源统计值:/v1/{projectId}/statistics等接口,为用户配置系统预置策略:DIS User/DIS ReadOnlyAccess/DIS
-
使用DIS采集增量驾驶行为日志数据 - 数据接入服务 DIS
疲劳驾驶 IsHthrottleStop string 停车轰油门 查询数据样例 数据查询统计 SELECT * FROM demo.cars 结果查询 查询语句执行结果如图4所示。 图4 统计结果
-
数据接入服务 DIS - 数据接入服务 DIS
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
-
自定义Flink Streaming作业 - 数据接入服务 DIS
”。选择解压至本地的huaweicloud-dis-flink-connector-demo目录,单击确认。 选择导入Maven工程,保持默认配置,一直单击下一步即可。 单击“New Window”,在新窗口打开此工程。 在pom.xml上单击右键,选择“Maven > Reimport”,重新引入maven依赖库。
-
下载数据 - 数据接入服务 DIS
数据游标有效期为5分钟。 max_fetch_bytes 否 Integer 每个请求获取记录的最大字节数。 注意: 该值如果小于分区中单条记录的大小,会导致一直无法获取到记录。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。