检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请注意，将SQL语句中的“csv”修改为转储到OBS的文件格式，OBS路径修改为实际存放数据的OBS路径。 单击“执行”，创建表，如图3所示。 图3 创建表 表中的各字段含义请参见表4。 表4 表字段含义 列名称(en) 数据类型 说明 DeviceID string 设备ID DataTime string
消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval.ms}毫秒执行一
消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval.ms}毫秒执行一
本节定义了数据接入服务上报云监控的监控指标的命名空间，监控指标列表和维度，用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象
默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
n\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功： 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig - get from
n\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功： 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig - get from
求。 如表1所示，包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系，数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时，需要同时授予依赖的权限，数据接入服务的权限才能生效。 表1 DIS系统权限
入门 DIS使用流程简介 步骤1：开通DIS通道 步骤2：准备DIS应用开发环境 步骤3：发送数据到DIS 步骤4：从DIS获取数据 获取认证信息 连接OBS 自动创建委托
使用限制 使用DIS前，您需要认真阅读并了解以下使用限制。 建议使用支持的浏览器登录DIS。 Google Chrome：48.0及更高版本 Mozilla FireFox：43.0及更高版本 Internet Explorer：9.0及更高版本 当使用Internet Explorer
基本概念 通道名称：租户创建的逻辑单位，用以区分不同租户实时数据的集合，创建通道时指定。在用户发送或者接收实时数据时，需要指定通道名称。 分区数：分区（Partition）是DIS数据通道的基本吞吐量单位。创建数据通道时，您将指定所需的分区数量。 记录：记录（Record）是存储
stream_type：通道类型，“COMMON”表示普通分区，单分区支持最大1MB/s的写入速度和2MB/s的读取速度。 data_duration：通道生命周期，即通道分区中数据的保留时长。 请求响应成功后，返回201 Created，表示通道创建成功。 若请求失败，则会返回错误码
配置为空时，数据直接存储在OBS桶内。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表2罗列了源数据类型为JSON，CSV，转储至MRS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表2 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据，缓存在通道中，分析平台周期读取通道中的数据分析后将结果应用到调度系统，实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及
自动创建委托 用户创建DIS通道，选择将数据转储到对象存储服务（Object Storage Service，简称OBS）、MapReduce服务（MRS）集群、数据仓库服务（Data Warehouse Service，简称DWS）或数据湖探索（Data Lake Insigh
修订记录 发布日期 修订说明 2021-09-15 第三十四次正式发布 下线CloudTable转储任务。 2021-01-08 第三十三次正式发布 新增应用示例场景，规范化发布API说明和错误码。 2020-07-03 第三十二次正式发布 新增错误码，修改错误码说明。 2020-05-09
管理转储任务 新增转储任务 转储至OBS 转储至DLI 转储至DWS 转储至MRS
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
