检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源数据Schema，即用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口： 创建通道同时开启“Sche
”精确到日，则数据转储成功后，在OBS的存储目录为“桶名称/转储文件目录/2018/10/16”。 开启自定义时间戳开关，则写到OBS的Object文件所在的目录层次结构，将使用源数据中定义的时间。 例如您在2018年10月16日创建某转储任务，选择“时间目录格式”精确到日，待上
授权管理 通过添加授权策略，可实现被授权的其他用户拥有DIS通道的上传和下载权限。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称，进入所选通道的管理页面。 选择“授权管理”，单击“添加授权策略”， 选择授
析后将结果应用到调度系统，实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及机器学习，对客户进行分类和信息查询，识别出大型客户，加强服务，进一步提升客户满意度。 图2 场景示例图 数据接入备份
转储文件名 转储到目标服务的文件名称。 从通道内读取的用户记录会写入文件后，再通过文件的形式转储到目标服务（如OBS、MRS） 记录数 用户转储日志开始构建到构建完成的时间间隔内，上传的记录条数。 数据量（字节） 用户转储日志开始构建到构建完成的时间间隔内，上传数据的大小。 单位：字节
介绍DIS与其他服务的关系。 对象存储服务（Object Storage Service，简称OBS） 在用户购买接入通道时选择数据转储至OBS，用户上传的数据会存储至对象存储服务（OBS）。 统一身份认证服务（Identity and Access Management，简称IAM） 统一
当上一分钟内通道触发流控（即超过通道内分区最大吞吐量开始限流）、且通道上传流量大于通道总带宽80%时，触发自动扩容操作，扩容目标分区数=分区数/0.6，向上取整。 例如，有5个普通分区时，上传总带宽为5MB/秒。当上一分钟通道触发流控后、且通道上传流量达到4MB/秒以上时，触发自动扩容操作，目标分区数为5/0
集、传输、分发能力，支持多种IoT协议，提供丰富的接口，帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作，如上传、下载等。支持的全部操作请参见API概览。 在调用数据接入服务API之前，请确保已经充分了解数据接入服务相关概念，详细信息请参见“产品介绍”。
的已有数据，而是从下一条上传的数据开始。 (如分区数据有效范围为[100, 200], 则会从200开始消费，如此时无数据上传，则获取的数据为空；如有数据上传，就会得到200,201,202,...) 适用于不知道消费位置，则丢弃分区已有的数据，从新上传的数据开始消费的场景。 无
S客户端实例，实例名称为dic。 使用DIS SDK创建转储任务，需要指定通道名称、转储任务名称，转储周期，转储目标服务等信息。 添加转储到对象存储服务（OBS）的转储任务 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
负责服务的配置、巡检、日志收集与分析、运行监控。 负责服务工单处理。 用户SDK 提供Java接口，供用户上传与下载数据。 提供数据加密功能。 关键能力 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。 易于使用：您可以在几秒钟内创建DIS数据通道，轻松的将数据放
使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink Connector上传与下载数据
单位：Count/s。 ≥ 0 Count/s 通道 1分钟 dis05_stream_put_requests_succeed 上传请求成功数 该指标用于统计指定时间范围内，通道上传请求成功次数。 单位：Count/s。 ≥ 0 Count/s 通道 1分钟 dis06_stream_get_requests_succeed
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源，如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
用户指定时间范围内，指定通道的输入/输出记录数。单位：个/秒。 上传/下载请求成功次数（个/秒） 用户指定时间范围内，指定通道的上传/下载请求成功次数。单位：个/秒。 因流控拒绝的上传/下载请求次数（个/秒） 用户指定时间范围内，指定通道因流控拒绝的上传/下载请求次数。单位：个/秒。 上传/下载请求平均处理时间（毫秒/个）
间段不会生成打包文件。 取值范围：30～900。 单位：秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。
使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 参考步骤1：开通DIS通道申请开通DIS通道，并持续上传数据到新创建的DIS通道。本次范例上传的内容为hello world。 打开pom.xml文件，选择<scope>provided</scope>这一行，并按Ctrl+/注释掉此行并保存。
计费示例 假设用户A的上传流量为5MB/s，单条记录大小为2KB，创建5个普通分区，采用按需计费。这种情况下每小时收费如下； 分区时间费用 分区时间0.1元/小时，5个分区需要：0.1 * 5 = 0.5元。 消息数量费用 上传消息数量0.1元/百万条，每小时上传消息数量为：5MB/s
resent. 该文件已经收到了 文件已经收到不需要再上传。 400 DIS.4220 The block whose sequence number is %s needs to be resent. 文件块需要重新上传 请按照指示上传对应的块。 400 DIS.4221 Block
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
