检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单次调用DIS数据发送接口时的数据集大小。 说明： “batchSize”表示一个事务的批量值(如1000)，而“sendingRecordSize”表示一个Rest请求的批量值(如250表示会发起四次请求)。当“batchSize”的数据全部发送成功之后，才会完成Flume的事务，否则事务不
cluster. 创建MRS转储任务时，传入的MRS集群无效 请检查传入的MRS集群名称和ID，集群状态是否为运行中，以及是否为安全模式的集群。 400 DIS.4209 Invalid metrics label. 查询监控信息时，传入的监控指标不合法 请参考API文档检查监控指标并修正。
项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。
项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。
安装DIS Logstash Plugin有在线和离线安装两种方式： 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME}
timed out 可能原因：服务器连接DIS网关超时。 处理方法：检查Agent所在日志服务器的网络配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。
data_type 否 String 源数据类型。 BLOB：存储在数据库管理系统中的一组二进制数据。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。 枚举值： BLOB
Logstash Plugin有在线和离线安装两种方式： 在线安装无需下载插件包，直接连接公网即可安装。 前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME}
2021-09-15 第三十四次正式发布 下线CloudTable转储任务。 2021-01-08 第三十三次正式发布 新增应用示例场景，规范化发布API说明和错误码。 2020-07-03 第三十二次正式发布 新增错误码，修改错误码说明。 2020-05-09 第三十一次正式发布。 支持按照App查看监控信息，修改下载数据。
ProcessingSchema object 根据源数据的时间戳和已配置的"partition_format"生成对应的转储时间目录。将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter
用户使用接入通道上传数据的时候，如果数据涉及敏感信息，请使用DIS SDK提供的加密配置进行加密或者自行加密。 用户使用接入通道上传数据时，普通通道单分区单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小），高级通道单分区单次请求的记录总大小不能超过5MB
1" #已存在的通道名 参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才认为消息被成功消费，此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下：
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用SDK
在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才认为消息被成功消费，此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下：
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时，如何区分不同类型数据？
读取通道数据时，如何区分不同类型数据？ 不同类型的消息使用不同的通道； 使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。 父主题： 转储相关问题
seqNumber="0" #序列号 metadata="" #用户消费程序端的元数据信息，元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取，需要先传入当前设置的通道名称。 配置好以上参数，执行commitCheckpoint_sample.
// 通道的分片数量 createStreamRequest.setPartitionCount(3); // 通道数据的保留时长: 单位小时，N*24，N的取值为1~7的整数 createStreamRequest.setDataDuration(24); // 通道的源数据类型：缺省值：BLOB
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
