本文由AI智能模型生成,在自有数据的基础上,训练NLP文本生成模型,根据标题生成内容,适配到模板。内容仅供参考,不对其准确性、真实性等作任何形式的保证,如果有任何问题或意见,请联系contentedit@huawei.com或点击右侧用户帮助进行反馈。我们原则上将于收到您的反馈后的5个工作日内做出答复或反馈处理结果。
数据采集
RestAPI、SDK、Agent对接多种数据源,线上线下数据实时采集
支持多种数据源:DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集
多种数据接入方式:提供RestAPI、SDK、Agent等多种数据接入方式,用户只需简单配置即可实现实时数据采集与传输
数据传输
实时数据高并发、低延时、高可靠传输
DIS提供百万连接并发,单数据流最高支持每日TB级别的数据量写入,每个分区(partition)支持最高每日百GB级别的写入量
每个数据流的吞吐能力可以通过动态增加partition进行扩展
数据流动
提供多种connector,对接云上数据存储、计算、分析等多种服务,实现用户数据自由流动
DIS与华为云上的OBS( 对象存储服务 )、MRS( MapReduce服务 )、DWS( 数据仓库 服务)、CloudTable( 表格存储服务 )、DLI( 数据湖探索 )、CS( 实时流计算服务 )、FunctionGraph( 函数工作流 )等服务集成,用户通过简单配置即可完成数据转储、计算、分析等功能
数据处理
预置数据抽取、汇聚、格式转换等Connector(处理算子),对用户输入数据做预处理
DIS预置Connector对接入数据做初步处理,提供CSV/Json到Parquet/CarbonData等格式的转换,提升用户数据质量
数据缓存
实时数据缓存1-3天,保证实时数据消费可靠性