检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS
传的记录条数。 数据量（字节） 用户转储日志开始构建到构建完成的时间间隔内，上传数据的大小。 单位：字节 操作 转储失败的详情。 “状态”为“已完成”，该列不可操作。 “状态”为“失败”，单击“查看详情”查看转储失败详情。 “状态”为“异常”，单击“查看详情”查看转储失败详情。 修改和启用转储任务
查看通道监控信息 用户可以通过控制台查看通道的监控信息，支持按照App维度监控App在通道中消费的数据信息。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称，进入监控页面。 根据实际情况在
e没有报错且sink端能正常获取到数据，表示下载正常。 如果使用步骤 2中示例的配置，则从DIS获取的数据会输出到控制台上，其内容显示为字节数组格式。 登录DIS控制台，等待2分钟后，查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条)，表示DIS Source运行成功。
内容导航 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性？ 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。
startingOffsets为读取DIS数据的起始位置，LATEST表示从最新的数据开始读取；EARLIEST表示从最旧的数据开始读取；如果要指定每个分区的精确起始位置，则可以写为json字符串，例如{"0":23,"1":-1,"2":-2}表示第0分区起始位置是23，第1分区从最新数据的位置开始，第2
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
图解数据接入服务DIS
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用SDK
单击“选择”，在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择，不可手动输入。 - DLI数据表 单击“选择”，在“选择DLI数据表”窗口选择一个数据表。仅支持数据位置为DLI类型的数据表，且用户需具有该表的插入权限。 此配置项仅支持选择，不可手动输入。 配置此项必须已配置“DLI 数据库”。
>> C:\test.log 登录DIS控制台，查看配置DIS Agent中“DISStream”或“CustomFileStream”通道的监控。有数据上传，表示DIS服务接收正常，Agent安装成功。 父主题： 使用Agent上传数据
存储该通道数据的DWS数据库模式下的数据表。 - 数据分隔符 用户数据的字段分隔符，根据此分隔符分隔用户数据插入DWS数据表的相应列。 取值范围：不可为空 - 偏移量 最新：最大偏移量，即获取最新的有效数据。 最早：最小偏移量，即读取最早的有效数据。 最新 数据转储周期 根据用户配置的
请根据实际情况配置 bodySerializeType 否 DIS数据包上传格式(非原始数据格式)。 json：DIS数据包封装为json格式，满足普通使用。 protobuf：DIS数据包封装为二进制格式，可以减少体积约1/3，在数据量较大的情况下推荐使用此格式。 json 父主题： 使用DIS
action_type 是 String 授权操作类型。 putRecords：上传数据。 getRecords：下载数据。 getStreamInfo：通道详情。 枚举值： putRecords getRecords getStreamInfo effect 是 String 授权影响类型。
值为1 缺省值：1000 offset 否 String 索引位置, 从offset指定的下一条数据开始查询。 查询第一页数据时，不需要传入此参数，查询后续页码数据时，将查询前一页数据时响应体中的值带入此参数(action为count时无此参数)如果action为filter默认为0，必须为数字，不能为负数
// 取值有： LATEST 从最新的数据开始消费，此策略会忽略通道中已有数据 // EARLIEST 从最老的数据开始消费，此策略会获取通道中所有的有效数据 String startingOffsets;
使用设备接入IoTDA写入数据至DIS 设备接入服务（IoT Device Access）是华为云的物联网平台，提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力，并可将设备数据灵活流转到华为云数据接入服务（DIS），帮助物
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题： 使用DIS
描述 app_name 是 String APP的名称，用户数据消费程序的唯一标识符，需要先通过创建App接口创建。 checkpoint_type 是 String Checkpoint类型。 LAST_READ：在数据库中只记录序列号。 枚举值： LAST_READ stream_name
DIS数据包上传格式。（非原始数据格式） json：DIS数据包封装为json格式，满足普通使用。 protobuf：DIS数据包封装为二进制格式，可以减少体积约1/3，在数据量较大的情况下推荐使用此格式。 json body.compress.enabled 否 是否开启传输数据压缩。 false body
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
