检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 批量上传流式数据的主体代码如下:
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。 父主题: 使用前必读
存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为
存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格式,以易读的文字为
19 20 21 //需配置转储任务的全量参数,不支持更新单个参数 UpdateTransferTaskRequest request = new UpdateTransferTaskRequest(); // 配置待更新的转储任务所属通道的名称 request.setStreamName(streamName);
登录华为云官方网站,访问设备接入服务。 单击“立即使用”进入设备接入控制台。 进入“规则”页面,单击页面右上角的“创建规则”,选择“数据转发”。 设置转发目标,转发至服务选择“数据接入服务DIS”。 有关创建 IoTDA数据转发规则的更多信息,请参见 IoTDA数据转发规则。 父主题: 使用DIS
DIS Spark Streaming概述 DIS Spark Streaming是数据接入服务(DIS)提供的一个sdk,支持将DIS作为数据源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark
TypeEnum.TEXT.getType()); // 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST,从通道内最新上传的记录开始读取; TRIM_HORIZON,从通道内最早的未过期记录开始读取 descriptor.setConsumerStrategy(Pa
支持的事件类别和事件 事件是租户通道状态发生变化的记录。它可以是由用户操作触发的(比如审计事件),也有可能是通道状态变化引起的(比如转储任务异常或转储任务恢复)。以下为当前DIS支持的事件和事件类别列表。 下表显示了事件源类型为通道的事件。 表1 事件源类型为通道的事件 事件源类型
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及
步骤4:从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
步骤4:从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。 此zip包中有两个目录。 huaweicloud-dis-kafka-adapter-X.X.X目录下是所有依赖的jar包,如果使用非Maven工程,则可导入此lib目录下的所有jar到环境依赖即可 huaw
myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。 此zip包中有两个目录。 huaweicloud-dis-kafka-adapter-X.X.X目录下是所有依赖的jar包,如果使用非Maven工程,则可导入此lib目录下的所有jar到环境依赖即可 huaw
ProcessingSchema object 根据源数据的时间戳和已配置的"partition_format"生成对应的转储时间目录。将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串,用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter
当您参考开通DIS、从DIS获取数据等一系列操作后,可以根据自身的业务需求使用DIS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云的表格存储服务(CloudTable
on_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如下载数据接口返回的数据是“ZGF0YQ==”,“ZGF0YQ==”经过Base64解码之后是“data”。
在“SMN主题”下拉框中,选择合适的消息通知主题。 用户可以根据需要,通过以下操作新建消息通知主题。 单击“去创建SMN主题”,系统将跳转到消息通知服务的“主题”页面,用户可通过单击页面右上方的“创建主题”来新建主题,具体请参见《消息通知服务用户指南》中的“创建主题”章节。 在创建的主题行,单击“更多