检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
maxFileCheckingMillis 否 最长文件变动检查时间,如果文件在此时间内“大小”、“修改时间”和“文件ID”都没有变化,则认为文件已经完成并开始上传。 请根据实际文件变动的频率配置此值,避免文件未完成已开始上传的情况。 若文件上传后有变动,则会重新全量上传。 单位:毫秒 说明: “i
start_stream_name = "" #可设置为空,或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法,获取响应200查询成功。 通道列表的返回信息示例如下: 1 2 200 {'stream_names': ['dis-jLGp'
000000000" #分区的唯一标识符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行getCheckpoint_sample.py文件调用getCheckpoint_test方法,响应结果如下: 1 2 3 4 {
在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java SDK压缩包。 获取DIS SDK软件包及校验文件后,需要对软件包的完整性进行校验,参考如何校验软件包完整性?。 父主题: 相关资源
#用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.py文件调用commitCheckpoint_test方法,响应201表示成功。 父主题: 使用SDK(Python)
task_name配置为特定的转储任务名称,则删除通道下的该转储任务。 配置好以上参数后,执行delete_dump_task_sample.py文件默认调用delete_dump_task_test方法,获取响应204删除成功。 父主题: 使用SDK(Python)
partition cursor. 从DIS通道下载数据时,传入的数据游标partition-cursor无效 请重新获取partition-cursor并下载数据。 400 DIS.4219 The file is constantly resent. 该文件已经收到了 文件已经收到不需要再上传。
地址,不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。 父主题: 使用前必读
状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。 对于获取用户Toke
task_name,'OBS',obs_Schema) 配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
DIS对于从数据生产者快速移出数据,然后进行持续处理非常有用。以下是使用DIS的典型场景: 加速日志和数据传送获取:您无需等待批量处理数据,而是让数据生产者在生成数据后立即输入DIS数据通道,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。
可能原因:服务器连接DIS网关超时。 处理方法:检查Agent所在日志服务器的网络配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件,日志中会输出类似如下日志,表示解析了[N1行(B1字节数)/N2文件(B2字节数)],成功上传了[N3行/N4文件]。
TimeUnit timeUnit) 接口 支持 关闭Producer并设置超时时间 List<PartitionInfo> partitionsFor(String topic) 接口 支持 获取通道的分区信息 void flush(long timeout, TimeUnit
TimeUnit timeUnit) 接口 支持 关闭Producer并设置超时时间 List<PartitionInfo> partitionsFor(String topic) 接口 支持 获取通道的分区信息 void flush(long timeout, TimeUnit
SDK加密上传数据,读取数据也需要使用JAVA SDK配置相同的密钥。 使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。 region:用户使用通道所在的区域。
ect文件所在的目录层次结构,将使用转储文件的生成时间。 例如系统在2018年10月16日生成转储文件,选择“时间目录格式”精确到日,则数据转储成功后,在OBS的存储目录为“桶名称/转储文件目录/2018/10/16”。 开启自定义时间戳开关,则写到OBS的Object文件所在的
继续消费 // 取值有: LATEST 从最新的数据开始消费,此策略会忽略通道中已有数据 // EARLIEST 从最老的数据开始消费,此策略会获取通道中所有的有效数据 String startingOffsets;
maxFileCheckingMillis 否 最长文件变动检查时间,如果文件在此时间内“大小”、“修改时间”和“文件ID”都没有变化,则认为文件已经完成并开始上传。 请根据实际文件变动的频率配置此值,避免文件未完成已开始上传的情况。 若文件上传后有变动,则会重新全量上传。 单位:毫秒 说明: “i
置,LATEST表示从最新的数据开始读取;EARLIEST表示从最旧的数据开始读取;如果要指定每个分区的精确起始位置,则可以写为json字符串,例如{"0":23,"1":-1,"2":-2}表示第0分区起始位置是23,第1分区从最新数据的位置开始,第2分区从最老数据的位置开始,
streamname="dis-test1" #已存在的通道名 参照该文件中的test方法,bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方