检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
完成服务的开通、删除、配置操作,并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求,对已鉴权的数据接收并存储。 接收用户获取数据的请求,在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置,将用户数据存储到对象存储服务(Object
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
必须将“start_partitionId”的值设置为“shardId-0000000xxx”格式,xxx为要查询的通道分区Id。 limit_partitions 否 Integer 单次请求返回的最大分区数。 最小值:1 最大值:1000 缺省值:100 请求参数 表3 请求Header参数 参数 是否必选
取值范围:0~50个字符。 默认配置为空。 - 时间目录格式 数据将存储在OBS桶中转储文件目录下,按时间格式作为层级的目录中。 当选择的时间目录格式精确到日时,存储目录为“桶名称/转储文件目录/年/月/日”。 取值范围: N/A:置空,不使用日期时间目录。 yyyy:年 yyyy/MM:年/月
停止DIS Agent 在Linux服务器上停止DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本,否则使用sh、
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent
已创建的通道名称。 最大长度:60 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选
简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS 立即使用 成长地图 由浅入深,带您玩转DIS 01 了解 了解华为云DIS的产品架构、功能和基础知识,有助于您更准确地匹配实际业务,让数据上云变得更简单、更方便。
提取速度可达 2MB/秒,单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小)。 高级通道单分区容量:最高发送速度可达 5MB/秒或2000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小)
%s 用户的请求无效 请参考API文档检查请求。 400 DIS.4201 Invalid partition_id. %s 用户传入的partition_id无效 请检查partition_id是否无效。 400 DIS.4202 Empty request. 用户的请求为空 请传入有效的请求。
同时存在时,以label_list为准) start_time 是 Long 监控开始时间点,10位时间戳。 end_time 是 Long 监控结束时间点,10位时间戳。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
提取速度可达 2MB/秒,单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小)。 高级通道单分区容量:最高发送速度可达 5MB/秒或2000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小)
String 源数据时间戳的属性名称。 timestamp_type String 源数据时间戳的类型。 String Timestamp:Long类型的13位时间戳 timestamp_format String 源数据时间戳的类型为String时必选,用于根据时间戳格式生成OBS的时间目录。
提取速度可达 2MB/秒,单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小)。 高级通道单分区容量:最高发送速度可达 5MB/秒或2000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小)
} } } 程序启动后,会每10s发起心跳请求(Heartbeat),然后发起加入消费组的请求(JoinGroup),服务端此时会开始给此消费组中的消费者分配分区,此过程大约需要等待20s,完成之后消费者会发起同步请求(SyncGroup)获取分配结果,等日志中输出Heartbeat
String 源数据时间戳的属性名称。 timestamp_type 是 String 源数据时间戳的类型。 String Timestamp:Long类型的13位时间戳 timestamp_format 否 String 源数据时间戳的类型为String时必选,用于根据时间戳格式生成OBS的时间目录。
S在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。 应用程序:一个DIS应用程序是读取和处理来自DIS数据通道的使用者。您可以使用客户端库(SDK)构建DIS应用程序。
前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 执行安装命令。 bin/logstash-plugin install
} } } 程序启动后,会每10s发起心跳请求(Heartbeat),然后发起加入消费组的请求(JoinGroup),服务端此时会开始给此消费组中的消费者分配分区,此过程大约需要等待20s,完成之后消费者会发起同步请求(SyncGroup)获取分配结果,等日志中输出Heartbeat
验证DIS Logstash Plugin 验证DIS Logstash Input 使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS