检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的
当使用stream_name没有找到对应通道且stream_id不为空时,会使用stream_id去查找通道。 说明: 上传数据到被授权的通道时,必须配置此参数。 records 是 Array of PutRecordsRequestEntry objects 待上传的记录列表。 表4 P
才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。
${auto.commit.interval.ms}毫秒执行一次偏移量的提交;手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时,默认是自动提交偏移量,默认的提交间隔是5000ms。使用自动提交相关参数设置如下: props.setProperty("enable
${auto.commit.interval.ms}毫秒执行一次偏移量的提交;手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时,默认是自动提交偏移量,默认的提交间隔是5000ms。使用自动提交相关参数设置如下: props.setProperty("enable
10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小) 目前每个租户默认Partition配额范围为1~50个,租户可以根据需要配置Partition个数。 若需扩大配额,请提交工单增加配额,具体上限需要根据集群的实际负载情况进行计算。 父主题: 一般性问题
恢复后仍不满足扩容需求,系统将新建分区。 对已有分区进行缩容操作后,缩容成功的分区不再进行计费也不参与配额控制。在步骤1:开通DIS通道中配置的“生命周期”时间内,缩容成功的分区可以读取数据不可写入数据,超过此时间则不可读取/写入数据。 执行自动扩缩容操作 使用注册账户登录DIS控制台。
和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。 图3 场景示例图 IOT分析应用 通过在车载设备中集成IoTDA,并配置数据转发到DIS,实时上传车辆状态、监控数据,采用云上数据分析系统进行实时分析、检测,动态掌握设备状况,实现汽车故障提前感知。 图4 场景示例图
范围:长度不超过64位,且不可配置为空。如果有在Console控制台使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency 最大长度:64 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OB
请检查转储任务是否存在。 400 DIS.4355 The transfer task already exists. 创建转储任务时,同一个通道下已存在同名的转储任务 请修改新创建转储任务的名称并重新创建。 400 DIS.4357 Exceeded transfer task
records Array of Record objects 下载的记录列表。 next_partition_cursor String 下一个迭代器。 说明: 数据游标有效期为5分钟。 表5 Record 参数 参数类型 描述 partition_key String 用户上传数
partition_id 否 String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
已创建的通道名称。 partition_id 是 String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
最大长度:60 partition_id 是 String 分区编号。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
SDK加密上传数据,读取数据也需要使用JAVA SDK配置相同的密钥。 使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。
partition_id 是 String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
参数类型 描述 partition_id String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
已创建的通道名称。 partition-id 是 String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS Logstash
含义与kafka设置相同,但默认值为StringSerializer (kafka必须配置) value.serializer 参数 支持 含义与kafka设置相同,但默认值为StringSerializer (kafka必须配置) linger.ms 参数 支持 含义与kafka设置相同,但默认