-
支持的监控指标 - 数据接入服务 DIS
支持的监控指标 功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称
-
转储至MRS - 数据接入服务 DIS
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类型JS
-
什么是数据接入服务DIS - 数据接入服务 DIS
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体
-
查看App消费状态 - 数据接入服务 DIS
latest_offset Long 索引位置, 最新的一条索引位置。 earliest_offset Long 索引位置, 最早的一条索引位置。 checkpoint_type String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ
-
配置Plugin - 数据接入服务 DIS
bash dis-encrypt.sh 控制台打印的“Encrypt result:”后面的字符串即为加密后的结果。通过这种方式分别加密MySQL密码和用户SK,并将密文配置到配置文件中即可。 配置DIS Source 表1 DIS Source配置项说明 配置项 是否必填 说明 默认值
-
转储至OBS - 数据接入服务 DIS
alse,默认值是false。 sort_columns:指定索引列,多级索引列用“,”分隔。 sort_scope:加载时,数据排序的范围。目前支持如下几种: local_sort:默认值,表示在一个node下做数据排序; no_sort:即不排序,在需要快速入库时使用,可以在
-
变更源数据类型 - 数据接入服务 DIS
单击需要查看的通道名称。进入所选通道的管理页面。 单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据类型”,弹出变更源数据类型对话框,修改创建通道时已设置的源数据类型。 “源数据类型”为“BLOB”、“J
-
DIS如何发送和接收数据? - 数据接入服务 DIS
-
Json格式上传流式数据 - 数据接入服务 DIS
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下:
-
下载流式数据 - 数据接入服务 DIS
方法,下载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。 配置好以上参数,执行protobuf_getrecords_sample.py文件调用getRecords_test方法,响应结果如下。
-
数据接入服务 DIS - 数据接入服务 DIS
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
-
上传数据 - 数据接入服务 DIS
SendRecordsRequest request = new SendRecordsRequest(); PutRecordsRequest body = new PutRecordsRequest(); List<PutRecordsRequestEntry>
-
下载数据 - 数据接入服务 DIS
on_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如下载数据接口返回的数据是“ZGF0YQ==”,“ZGF0YQ==”经过Base64解码之后是“data”。
-
下载数据之消费位移 - 数据接入服务 DIS
String>> partitionRecords = records.records(partition); for (ConsumerRecord<String, String> record : partitionRecords) {
-
上传流式数据 - 数据接入服务 DIS
putRecordsRequestEntryList.add(putRecordsRequestEntry); } putRecordsRequest.setRecords(putRecordsRequestEntryList);
-
下载数据之消费位移 - 数据接入服务 DIS
String>> partitionRecords = records.records(partition); for (ConsumerRecord<String, String> record : partitionRecords) {
-
数据下载的消费模式 - 数据接入服务 DIS
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
-
Protobuf格式上传流式数据 - 数据接入服务 DIS
obuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
-
数据下载的消费模式 - 数据接入服务 DIS
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
-
下载流式数据 - 数据接入服务 DIS
partitionId, cursor); GetRecordsRequest recordsRequest = new GetRecordsRequest(); GetRecordsResult recordResponse = null; while