检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data
新增转储任务 将数据发送到DIS通道后,通过为通道添加转储任务,数据将自动传输到您选择的目标。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择通道管理。 单击需要查看的通道名称,进入所选通道的管理页面,选择“转储管理”页签。也可选中待
需要上传的数据。 上传的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如需要上传字符串“data”,“data”经过Base64编码之后是“ZGF0YQ==”。 explicit_hash_key 否 String 用于明确数据需要写入分区的哈希值,此哈希值将覆盖“partition_key”的哈希值。
支持,但是参数名改为exception.retries Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
支持,但是参数名改为exception.retries Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
on_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如下载数据接口返回的数据是“ZGF0YQ==”,“ZGF0YQ==”经过Base64解码之后是“data”。
info(e.getMessage(), e); } } } } 执行如上程序之后,如果有数据发送到通道中,此时会打印如下日志。 09:36:45.071 INFO c.h.d.a.k.c.DISKafkaConsumer - create
info(e.getMessage(), e); } } } } 执行如上程序之后,如果有数据发送到通道中,此时会打印如下日志。 09:36:45.071 INFO c.h.d.a.k.c.DISKafkaConsumer - create
子网信息,将DNS服务器地址添加到弹性云服务器对应的子网中。 操作步骤 使用注册账户登录弹性云服务控制台,进入“云服务器控制台”页面。 在页面中单击用户将要使用的弹性云服务器,查看云服务器详情。 在云服务器详情页面中,单击“网卡”,打开相应的下拉菜单,查看弹性云服务器的子网名称。
单击需要查看的通道名称。进入所选通道的管理页面。 单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据类型”,弹出变更源数据类型对话框,修改创建通道时已设置的源数据类型。 “源数据类型”为“BLOB”、“J
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
从分区最老的数据开始消费,即读取分区内所有有效数据。 例如分区数据有效范围为[100, 200], 则会从100开始消费。 适用于不知道消费位置,则直接消费分区内所有有效数据的场景。 无 LATEST 从分区最新的数据之后开始消费,即不读取分区内的已有数据,而是从下一条上传的数据开始。
yml“配置文件中,SK同理。 按上述操作将AK和SK加密之后,将加密后的AK/SK,key全部配置到"agent.yml”即可。 图1 加密示例 表2 DISStream配置项说明 配置项 是否必填 说明 默认值 DISStream 是 DIS 通道名称。 将“filePattern”所匹
starting-sequence-number 否 String 序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越