检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data": "abcdefd", "partition_id": “shardId-0000000001”}] #"data"："xxx"为上传的数据值，请自定义；“partition_id”:“shard
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题： 使用Agent上传数据
处理方法：检查Agent所在日志服务器的网络配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。 Agent: Progress: [N1
ype="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data":
使用PuTTY工具登录日志所在服务器，即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X.X.X.zip”压缩包。 unzip dis-agent-X.X.X.zip 进入“dis-agent-X
使用DIS采集增量驾驶行为日志数据 数据接入服务（Data Ingestion Service，简称DIS）采集增量驾驶行为日志数据并上传到华为云对象存储服务（Object Storage Service，简称OBS），通过数据湖探索（Data Lake Insight，简称DLI）分析上传的日志数据，获取
用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。 管理DIS通道 开通DIS通道 管理源数据Schema 使用DIS 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据
dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
<version>1.2.18</version> </dependency> 使用DIS样例工程 在https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。 此zip包中有两个目录。
key=obs_dump_task,value=['text','obs-1253', '','yyyy', '|']) # 添加OBS转储服务,配置obs_Schema值 cli.add_dump_task(streamname, task_name,'OBS',obs_Schema)
vel配置的的值，则日志也不会输出。 OFF maxBufferAgeMillis 否 最长上传等待时间。单位：毫秒 记录队列满则立即上传。 记录队列未满，等待此配 置项配置的时间后上传。 5000 connectionTimeOutSeconds 否 连接DIS接口超时时间。 单位：秒。
Logstash Output上传数据是否正常。 向Logstash的input端输入数据，如果Logstash没有报错数据可以正常上传到指向的通道，表示上传正常。 登录DIS控制台，等待2分钟后，查看表2中“streamName”配置的通道的监控。如果显示有数据上传(绿色线条)，表示DIS
Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据
出现类似如下提示，表示卸载成功。 Uninstall dis-flume-plugin successfully. 父主题： 使用DIS Flume Plugin上传与下载数据
置的sink名称。 检查DIS Sink上传数据是否正常。 向Flume的source端输入数据，在DIS Sink的resultLogLevel级别不为OFF且不低于log4j配置的值，查看日志输出类似如下结果，表示DIS Sink上传数据正常。 CurrentPut 5 events[success
了HBase表。 tbl1 备份开关 用户数据转储CloudTable服务失败时，是否将转储失败的数据备份至OBS服务。 开启：是，转储失败的数据备份至OBS服务。 关闭：否，转储失败的数据不备份至OBS服务。 开关默认关闭。 说明： 关闭开关，转储失败的数据会存储在DIS中，并
world[sync]. 4], Partition [0], Offset [158], Key [822860] 父主题： 使用Kafka Adapter上传与下载数据
OffsetAndMetadata(lastOffset + 1))); } } } 父主题： 使用Kafka Adapter上传与下载数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
