检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent采集数据并上传数据至DIS。 DIS Agent介绍 DIS Agent概述 安装并配置DIS Agent 上传数据 启动Agent上传数据 查看数据上传结果 05 实践 通过提供针对多种场景的使用样例，方便您快速了解使用DIS完成实时数据的采集和分析。 案例介绍 使用DIS实时分析车辆位置
retries Kafka默认设置为0，DIS默认设置为8。 出现网络/服务端异常的重试次数，尽量保证数据上传成功 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据
参数 是否必选 参数类型 描述 data 是 String 需要上传的数据。 上传的数据为序列化之后的二进制数据（Base64编码后的字符串）。 比如需要上传字符串“data”，“data”经过Base64编码之后是“ZGF0YQ==”。 explicit_hash_key 否 String
retries Kafka默认设置为0，DIS默认设置为8。 出现网络/服务端异常的重试次数，尽量保证数据上传成功 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data": "abcdefd", "partition_id": “shardId-0000000001”}] #"data"："xxx"为上传的数据值，请自定义；“partition_id”:“shard
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
单击通道名称，进入所选通道的管理页面。 单击“通道调试”，选择对应分区后的上传或下载操作，进行数据的上传和下载。 图1 上传下载数据 单击“上传”，在上传文本框中输入上传内容后，确认上传。 系统提示上传数据成功，并在界面回显当前数据上传成功记录的序列号。 图2 上传数据 单击“下载”，选择游标类型并输入对应的
成并开始上传。 请根据实际文件变动的频率配置此值，避免文件未完成已开始上传的情况。 若文件上传后有变动，则会重新全量上传。 单位：毫秒 说明： “isFileAppendable”配置为“false”时该配置项生效。 5000 deletePolicy 否 文件内容上传完成之后的删除策略。
具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题： 使用Agent上传数据
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。 图1 DIS Flume Plugin安装流程 父主题： 使用DIS Flume Plugin上传与下载数据
成并开始上传。 请根据实际文件变动的频率配置此值，避免文件未完成已开始上传的情况。 若文件上传后有变动，则会重新全量上传。 单位：毫秒 说明： “isFileAppendable”配置为“false”时该配置项生效。 5000 deletePolicy 否 文件内容上传完成之后的删除策略。
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题： 使用DIS
tash。 DIS Output用于将Logstash中的数据上传到DIS服务。 DIS Logstash Plugin安装流程如图1所示。 图1 安装流程图 父主题： 使用DIS Logstash Plugin上传与下载数据
cd /opt 创建目录“jre”。 mkdir -p jre 设置JDK安装目录的权限。 chmod -R 640 jre/ 将压缩包上传到“jre”目录下，执行如下命令解压JRE安装包。 tar -zxvf JRE包名.tar.gz 修改“/etc/profile”配置文件。
在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 父主题： 使用Kafka Adapter上传与下载数据
在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 父主题： 使用Kafka Adapter上传与下载数据
监控页面查看数据是否上传成功。 在本地运行作业验证无误之后，请把pom.xml中的<scope>provided</scope>解除注释(防止以后打包会把flink依赖也打进来)，然后停止数据上传程序。 父主题： 使用DIS Flink Connector上传与下载数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
