检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看监控指标 操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，云监控显示的是当前时间5～10分钟前的状态。如果您的数据接入服务通道刚刚创建完成，请等待5～10分钟后查看监控数据。
支持的监控指标 功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间，监控指标列表和维度，用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息，表示Agent正常运行。
弹性伸缩分区 用户在创建通道成功后，随着业务的发展和变化，对通道容量有了新的需求。弹性伸缩分区可以对已经创建成功的通道进行分区扩容或者分区缩容以满足用户这一需求，支持自动和手动扩缩容两种方式。 约束限制 每个通道在一小时内仅可操作实现10次自动扩容、10次手动扩容、1次缩容（包含手动缩容和自动缩容）操作。
验证DIS Logstash Plugin 验证DIS Logstash Input 使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS
下载数据 功能介绍 本接口用于从DIS通道中下载数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改，文件样例如下所示： agent.sources =
获取数据游标 功能介绍 本接口用于获取数据游标。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/cursors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包，解压之后获得以下目录： “dis-
基本概念 通道名称：租户创建的逻辑单位，用以区分不同租户实时数据的集合，创建通道时指定。在用户发送或者接收实时数据时，需要指定通道名称。 分区数：分区（Partition）是DIS数据通道的基本吞吐量单位。创建数据通道时，您将指定所需的分区数量。 记录：记录（Record）是存储
添加OBS转储任务 功能介绍 本接口用于添加OBS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
转储至OBS 源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时，需要指定转储任务名称，同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。
下载流式数据 背景信息 下载流式数据，需要确定从分区的什么位置开始获取（即获取游标）。确定起始位置后，再循环获取数据。 获取游标有如下五种方式： AT_SEQUENCE_NUMBER AFTER_SEQUENCE_NUMBER TRIM_HORIZON LATEST AT_TIMESTAMP
上传数据 功能介绍 本接口用于上传数据到DIS通道中。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header参数
查询转储任务详情 功能介绍 查询转储任务详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/transfer-tasks/{task_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：
数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：
使用DIS采集增量驾驶行为日志数据 场景简介 数据接入服务（Data Ingestion Service，简称DIS）采集增量驾驶行为日志数据并上传到华为云对象存储服务（Object Storage Service，简称OBS），通过数据湖探索（Data Lake Insight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
