检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。 易于使用:您可以在几秒钟内创建DIS数据通道,轻松地将数据放入通道中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。 并行处理
(Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Spark Streaming下载数据
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 正常返回 错误码 请参见错误码。 父主题: 监控管理
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
分区(Partition)是DIS数据通道的基本吞吐量单位。创建通道时,将指定所需的分区数量。 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 2MB/秒,单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小)。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
文件内没有错误即表示开发环境配置成功,此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。 DISSparkStreamingExample是一个使用Assign模式的样例,不具备停止再启动时从上一次停止位置开始的能力。使用到的SDK构造方法如下: ConsumerStrategies
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。 父主题: 使用前必读
(Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Flink Connector上传与下载数据
参数类型 描述 stream_name 是 String 需要变更分区数量的通道名称。 最大长度:64 target_partition_count 是 Integer 变更的目标分区数量。 取值为大于0的整数。 设置的值大于当前分区数量表示扩容,小于当前分区数量表示缩容。 注意: 每个
Key的记录会分配到同一个分区。此配置项可设置每条记录的PartitionKey值,取值如下: RANDOM_INT:PartitionKey的值为随机数字的字符串,记录均匀分布在每个分区。 FILE_NAME:PartitionKey的值为文件名称字符串,记录分布在特定的一个分区中。
用此配置的策略;如果存在有效的Checkpoint,则会从此Checkpoint开始继续消费 // 取值有: LATEST 从最新的数据开始消费,此策略会忽略通道中已有数据 // EARLIEST 从最老的数据开始消费,此策略会获取通道中所有的有效数据
额度和时长,获取更多的优惠。超出资源包的部分自动转按需计费。 各资源包在不同规格及时长下的具体价格,请参见产品价格详情。你可以通过DIS提供的价格计算器,根据您的业务诉求,来快速计算出购买DIS的参考价格。 计费示例 假设用户A的上传流量为5MB/s,单条记录大小为2KB,创建5
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 正常返回 错误码 请参见错误码。 父主题: 监控管理
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Ingestion Service, DIS)。数据接入服务面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传、下载等。支持的全部操作请参见API概览。
登录华为云官方网站,访问设备接入服务。 单击“立即使用”进入设备接入控制台。 进入“规则”页面,单击页面右上角的“创建规则”,选择“数据转发”。 设置转发目标,转发至服务选择“数据接入服务DIS”。 有关创建 IoTDA数据转发规则的更多信息,请参见 IoTDA数据转发规则。 父主题: 使用DIS
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。