检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
停止DIS Agent 在Linux服务器上停止DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本，否则使用sh、
常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务（Data Ingestion Service，简称DIS）实时采集车辆位置数据并上传到华为云的表格存储服务（CloudTable Service，简称CloudTable）中，用户可以使用CloudTable查询指定车辆在指定时间段的车辆位置。
消费者会发起joinGroup的请求，通知服务端自己要加入消费组，服务端收到客户端的join请求之后，会将消费组重新分配，此时返回一个syncDelayedTimeMs，告诉客户端分配需要多久完成，客户端可以等待syncDelayedTimeMs之后，再发起同步请求(SyncGroup)获取分配结果
Adapter概述 dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置 region 是
scanner.nextLine(); // 用户的项目ID String projectId; // DIS通道名称 String streamName; 最终IDEA的配置如下图所示，确认无误后单击“OK”关闭此窗口。
Access Key）。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 检查项目ID 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同R
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器，即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息，表示Agent正常运行。
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
streamName为DIS通道名称。 params为参数Map集合，至少包括endpoint（DIS网关地址）,region（区域），ak（用户ak）,sk（用户sk）,projectId（用户项目ID）。 startingOffsets为读取DIS数据的起始位置，LATEST表示从最新的数据开始读取；EA
lume-conf.properties.template，其中{FLUME_HOME}是Flume的安装路径，用户可以基于此配置文件修改。 在配置项中，需要配置用户的SK，这属于敏感信息，如需加密，可以按如下步骤： 进入dis-flume-plugin/目录 cd /dis-flume-plugin
DIS Spark Streaming概述 DIS Spark Streaming是数据接入服务（DIS）提供的一个sdk，支持将DIS作为数据源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark
初始化DIS客户端 您可以使用以下两种方法初始化DIS SDK客户端实例，优先选择使用代码进行初始化。其中，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参考获取认证信息。 使用代码初始化DIS SDK客户端实例。 1 2 3 4
</dependency> 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向input指向的通道上传数据，如果Logstash没有
</dependency> 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
DIS Flink Connector概述 DIS Flink Connector是数据接入服务（DIS）提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
