检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定数据从通道中开始消费的位置，支持： earliest：从通道中最早的数据开始消费 latest：从通道中最新的数据开始消费 latest 配置DIS Logstash Output 配置模板如下：（该模板为读取本地文件数据并上传到DIS通道） input { file { path
可待通道创建成功后。到通道的管理页面创建数据Schema，详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时，可选择创建数据Schema。 源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。 在左侧文
步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS）MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data
步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS）MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data
步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
rdId-0000000001”为数据写入的分区id值，请自定义。 record1 = {"data": "xxx","partition_id": partition_id} #可写入多条数据，数据格式如record1所示，每写一条数据使用下面的append方法传入records中。
csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 检查项目ID 项目ID表示租户的
dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 检查项目ID 项目ID表示租户的
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS
Agent是数据接入服务（DIS）提供的一个客户端程序，具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题： 使用Agent上传数据
这个示例中创建了一个源数据类型为JSON，且数据包含“key1”、“key2”这两个属性的通道。 data_type：指定源数据的类型，“JSON”表示分区中的数据格式为JSON格式。 data_schema：源数据Schema，用于描述JSON、CSV格式的源数据结构，采用Avro
辆位置。 使用DIS采集增量驾驶行为日志数据 数据接入服务（Data Ingestion Service，简称DIS）采集增量驾驶行为日志数据并上传到华为云对象存储服务（Object Storage Service，简称OBS），通过数据湖探索（Data Lake Insight
dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
DIS Flink Connector是数据接入服务（DIS）提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据
图解数据接入服务DIS
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用SDK
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
