检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
响应Body参数 参数 参数类型 描述 records Array of Record objects 下载的记录列表。 next_partition_cursor String 下一个迭代器。 说明： 数据游标有效期为5分钟。 表5 Record 参数 参数类型 描述 partition_key
Agent采集数据并上传数据至DIS。 DIS Agent介绍 DIS Agent概述 安装并配置DIS Agent 上传数据 启动Agent上传数据 查看数据上传结果 05 实践 通过提供针对多种场景的使用样例，方便您快速了解使用DIS完成实时数据的采集和分析。 案例介绍 使用DIS实时分析车辆位置
接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes)
TRIM_HORIZON：最小偏移量，即读取最早的数据。 缺省值：LATEST 枚举值： LATEST TRIM_HORIZON dli_database_name 是 String 存储该通道数据的DLI数据库名称。 dli_table_name 是 String 存储该通道数据的DLI表名称。 说明： 仅支持数
Checkpoint，消费检查点。应用程序消费数据时，记录已消费数据的最新序列号作为检查点。当重新消费数据时，可根据此检查点继续消费。 图1 查看Apps 单击实际的App名称，可查看App对该通道数据的消费详情。 图2 查看App详情 父主题： 管理通道
DIS有哪些特点和优势？ 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。 易于使用：您可以在几秒钟内创建DIS数据通道，轻松地将数据放入通道中，并构建用于数据处理的应用程序。 成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。
为空时，会使用stream_id去查找通道。 说明： 上传数据到被授权的通道时，必须配置此参数。 records 是 Array of PutRecordsRequestEntry objects 待上传的记录列表。 表4 PutRecordsRequestEntry 参数 是否必选
[{}]", record.value(), record.partition(), record.offset(), record.key()); }
[{}]", record.value(), record.partition(), record.offset(), record.key()); }
交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及机器学习，对客户进行分类和信息查询，识别出大型客户，加强服务，进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份，
0000000" 通过getCursor_test更改游标类型cursorType='AT_SEQUENCE_NUMBER' 配置好以上参数，执行getRecords_sample.py文件调用getRecords_test方法，响应结果如下。 1 2 200 {'nex
通道管理 创建通道 查询通道列表 删除指定通道 查看通道详情 修改分区数量 更新通道信息 添加权限策略 查询权限策略列表 父主题： API说明
数据接入服务”。 单击现有通道列表右上角的“标签搜索”，展开查询页。 输入待查询通道的标签。 标签键或标签值可以通过下拉列表中选择，当标签键或标签值全匹配时，系统可以自动查询到目标通道。当有多个标签条件时，会取各个标签的交集，进行通道查询。 单击“搜索”。 系统根据标签键或标签值搜索目标通道。
DIS Agent概述 DIS Agent是数据接入服务（DIS）提供的一个客户端程序，具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题：
查看事件 介绍用户如何查找通道或转储任务发生的事件。 在“事件管理”页面中单击“事件”，默认显示当前所有通道或转储任务已发生的事件。 在事件列表右上方的下拉列表中通过选择不同的筛选条件搜索事件。可从事件级别和事件源两个维度进行筛选。 在下拉列表中选择“所有事件级别”、“正常”或“警告”。
obuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
settings file (settings.xml文件位置)和Local repository(本地仓库地址)配置正确。 若不正确，请修改，否则步骤 2中安装的sdk无法找到。 打开DISSparkStreamingExample文件，如果IDEA提示“No Scala SDK
单击“源数据类型”后的“查看已有源数据Schema”。 弹出源数据Schema文本框，单击，修改源数据Schema。 图6 修改源数据Schema 当通道中存在转储任务，修改源数据Schema可能导致通道内未转储完成的数据无法被成功转储。 修改完成后，单击“提交”，保存修改结果。单击“放弃”，不对源数据Schema进行修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
