检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
满足多种业务需求,用户通过就近部署业务,有效降低网络时延 将华为云可用区拉远,在用户数据中心提供公有云服务,满足数据本地化需求,降低业务延迟 从云端下发应用到边缘,帮助用户在云端对边缘应用进行管理,解决应用“推送/简化部署”到边缘的问题 聚焦边缘设备管理,就近提供计算和智能服务,
IEC和华为云的关系是什么? IEC为归属于华为云的一款针对边缘计算场景的云服务。 从部署位置来看:IEC部署于距离企业和热点用户区域更近的城域位置;而华为云上的其他云服务一般部署于华为云的中心区域(简称中心云)。对于您而言,使用IEC如同使用更贴近您实际业务的华为云。
数据合规性:新型业务数据存储在云端,无法满足企业对敏感数据本地化存储的要求,直接影响企业数据上云的策略。 面对传统集中式云计算的固有局限性,边缘计算成为应对新型业务和数据合规业务的较好选择。
(可选)回传数据到云上做进一步处理,根据处理结果更新应用。 这个步骤与IEF的使用本身没有强相关,但是这是一个常见的根据数据改进应用的方法,您可以根据自身需求选择是否操作。 图1 构建边缘计算
如果您想在IEC上访问华为云区域上的其他云服务,也需要通过公网Internet进行访问。 创建虚拟私有云 创建和绑定弹性公网IP 监控数据 监控是保持实例可靠性、可用性和性能的重要途径。您可以通过IEC控制台直观的了解实例的各项性能指标,更好地掌握自己的实例运行状态。
源等)中连续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用DIS
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题: 使用DIS
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。 管理DIS通道 开通DIS通道 管理源数据Schema 使用DIS 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据
commitSync()是同步提交,会阻塞线程直到提交消费偏移量执行结果返回。 另外还可以精细的控制对具体分区具体offset数据的确认,确认的offset为已接受数据最大offset+1。例如消费一批数据,最后一条的offset为100,则此时需要commit 101,这样下次消费就会从101开始,不会重复。代码样例如下:
commitSync()是同步提交,会阻塞线程直到提交消费偏移量执行结果返回。 另外还可以精细的控制对具体分区具体offset数据的确认,确认的offset为已接受数据最大offset+1。例如消费一批数据,最后一条的offset为100,则此时需要commit 101,这样下次消费就会从101开始,不会重复。代码样例如下:
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
Partition [0], Offset [123]. 与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProduce
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
Partition [0], Offset [123]. 与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProduce
4], Partition [0], Offset [158], Key [822860] 父主题: 使用Kafka Adapter上传与下载数据
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
4], Partition [0], Offset [158], Key [822860] 父主题: 使用Kafka Adapter上传与下载数据
数据管理 上传数据 下载数据 获取数据游标 父主题: API说明
在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 父主题: 使用Kafka Adapter上传与下载数据
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
约束与限制 您能创建的通道和实例的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 详细的限制请参见具体API的说明。 父主题: 使用前必读