检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据，缓存在通道中，分析平台周期读取通道中的数据分析后将结果应用到调度系统，实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及
Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS Logstash
择“通道管理”页签，单击已创建的通道名称，进入所选通道的管理页面。选择“源数据类型”后的“创建源数据Schema”进行创建，参见图2。 创建通道时，关闭“Schema开关”。待通道创建成功后，选择“通道管理”页签，单击已创建的通道名称，进入所选通道的管理页面。选择“转储任务”页签
penTSDB数据的Schema配置。用于将通道内的JSON数据进行格式转换并导入Cloudtable的OpenTSDB。 cloudtable_row_key_delimiter 否 String 转储HBase的rowkey分隔符，用于分隔生成rowKey的用户数据。取值范围：”
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题： 使用DIS
获取消息，但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeySize(key序列化后的字节长度)、serializedValueSize(key序列化后的字节长度)。 void commitSync() 接口 支持 同步提交当前消费的offset void commitSync(final
获取消息，但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeySize(key序列化后的字节长度)、serializedValueSize(key序列化后的字节长度)。 void commitSync() 接口 支持 同步提交当前消费的offset void commitSync(final
临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。 取值范围：英文字母、数字、下划线和斜杠，最大长度为50个字符。 默认配置为空。 retry_duration 否 String 用户数据导入DWS集群失败的重试失效时间。超出此配置项配置的时间，转储DWS失败的数据将备份至“OBS桶/
进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本，否则使用sh、./ 等方式启动脚本，可能由于系统默认shell的差异导致启动失败。 显示
在“SMN主题”下拉框中，选择合适的消息通知主题。 用户可以根据需要，通过以下操作新建消息通知主题。 单击“去创建SMN主题”，系统将跳转到消息通知服务的“主题”页面，用户可通过单击页面右上方的“创建主题”来新建主题，具体请参见《消息通知服务用户指南》中的“创建主题”章节。 在创建的主题行，单击“更多
上传数据时，不建议设置数据的PartitionKey，DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey，可能会导致数据倾斜，产生通道限流。 下载数据时，需要定期的使用descriptStream接口检测通道分区数量的变化，以便DIS可以下载到所有分区的数据。
Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.
Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X
ka是16KB)，目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB) max.in.flight.requests.per.connection 参数 支持 限制客户端在单个连接上能够发送的未响应请求的个数，默认值为100(Kafka
ka是16KB)，目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB) max.in.flight.requests.per.connection 参数 支持 限制客户端在单个连接上能够发送的未响应请求的个数，默认值为100(Kafka
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
使用SDK（Java） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
使用SDK（Python） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
app not found. 指定的APP不存在 请检查指定的APP名称是否正确 400 DIS.4335 Invalid IAM agency. 创建转储任务时，使用的IAM委托无效 检查DIS创建的dis_admin_agency或用户自定义的IAM委托是否存在，权限是否完整。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
