检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区域和可用区 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用
、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向
跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
*1024KB) 按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需向上取整) (消费程序数量/2)*按流量计算所需的写分区数 获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。
图解数据接入服务DIS
用户上传至DIS通道的消息数量,下载不计入消息数量。单条消息计量不超过25KB,即用户每次上传的单条数据超过25KB是按多条消息计算,不足25KB时,按单条消息计算。 说明: 只有DIS普通通道涉及此计费因子,高级通道不按消息数量收费,只根据使用分区时长计费。 分区时间 使用分区的时长
监控管理 查询通道监控 查询分区监控 父主题: API说明
数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 容错选项 通过单击或来关闭或开启容错选项开关。
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
异常信息 DIS服务端错误码
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布: 增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布:
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>