检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
类型,输出错误报告。如果数据完全符合要求,会生成推荐系统所需要的宽表和画像数据。 宽表:推荐系统内部格式,以行为数据为主,将行为数据中涉及到的用户数据和物品数据整合成一条数据。 画像:画像分为用户画像和物品画像,分别用于存储用户输入的用户特征和物品特征。如果同一用户或物品有多条记录,将会按照用户ID或者物品ID去重。
直播流播放画像,为什么累计观看人数比峰值观看人数少? 由于累计观看人数是按IP地址进行统计的,而在线峰值连接数则根据不同协议统计方式有所不同: 若播放协议为RTMP和FLV,以会话数进行统计,并发连接数即在线人数。 若播放协议为HLS,此数据不可作为在线人数的参考。 因此存在人数统计不一致的情况。
消息发送和消费的可靠性必须由分布式消息服务Kafka版和生产者以及消费者协同工作才能保证。同时开发者需要尽量合理使用分布式消息服务Kafka版的Topic,以提高消息发送和消息消费的效率与准确性。 对使用分布式消息服务Kafka版的生产者和消费者有如下的使用建议: 重视消息生产与消费的确认过程 消息生产
基于行为数据的用户画像更新 基于行为数据的用户画像更新可以对用户画像进行持续更新,更新频率可达秒级。以DIS中的实时行为日志为数据源,从中分析出用户画像更新信息,并实时更新用户画像,使用户画像随着用户行为的发生而不断变化。 通过此任务可以更新的用户画像内容有:用户标签等动态信
消费确认接口说明 功能介绍 确认已经消费指定消息。 在消费者消费消息期间,消息仍然停留在队列中,但消息从被消费开始的30秒内不能被该消费组再次消费,若在这30秒内没有被消费者确认消费,则MQS认为消息未消费成功,将可以被继续消费。 endpoint为https://{rest_c
取值范围:1~16 如果是顺序消费,可通过消费者的setMaxReconsumeTimes函数配置。 是否允许以广播模式消费 是否设置为广播消费。 若开启广播消费,每条消息都会被消费组内的所有消费者消费一次。否则,每条消息只会被消费组内的某一消费者消费。 是否顺序消费 RocketMQ实例的版本为5
理该消息。 消费者(Consumer) 接收消息的一方。消费者订阅RabbitMQ的队列,当消费者消费一条消息时,只是消费消息的消息体。在消息路由的过程中,会丢弃标签,存入到队列中的只有消息体。 队列(Queue) 队列是用于存储消息的,生产者将消息送到队列,消费者从队列中获取和
正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常从而被踢出消费组,此时可能会导致消费异常,需要重点关注。 消费者被服务端认为异常从而被踢出消费组的场景如下: 未能及时发送心跳请求。 消费者以设置的heartbeat
Kafka采集器(app-discovery-kafka) 通过连接到Kafka节点,获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-kafka-xxx
附录:如何提高消息处理效率 消息生产和消费的可靠性必须由ROMA Connect、生产者和消费者协同工作才能保证,对使用ROMA Connect的生产者和消费者有如下的使用建议。 重视消息生产与消费的确认过程 消息生产 生产消息后,生产者需要根据ROMA Connect的返回信息
创建Kafka消费组 消费者是从Topic订阅消息的一方,消费组是由一个或多个消费者组成的。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。
Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费,等待Rebalance完成。 可能会触发Rebalance的原因: 消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。 消费组订阅的Topic个数发生变化。
ctor工具用于对接flink,包括消费者(Consumer)和生产者(Producer)两部分。 消费者用于从云日志服务中读取数据,支持exactly once语义,支持shard负载均衡,生产者用于将数据写入云日志服务,使用LTS-Flink-Connector工具时,需要在项目中添加maven依赖:
重置RocketMQ消费进度 重置消费进度即修改消费者的消费位置,重置消费进度后,消费者会从修改后的消息位置开始继续消费。 重置消费进度可能会导致重复消费,请谨慎操作。 操作视频 本视频演示重置RocketMQ消费进度的操作。 前提条件 已创建消费组,且消费组中已存在消费者。 已创建Topic。 重置RocketMQ消费进度
(HCCDA – API Full Lifecycle):API全生命周期管理深度解析,详细介绍API理论知识,通过CodeArts API工具实现API一站式管理。 华为云鸿蒙应用入门级开发者认证 (HCCDA – HarmonyOS & Cloud Apps):深度解析ArkT
服务控制 系统调用关系管 消费者访问数据服务共享平台中web服务共享资源,数据管理员给消费者分配web服务的访问权限。其主要功能包括: 支持web服务调用关系管理; 支持Server端调用关系控制处理; 支持Server端调用关系控制告警信息处理; 支持消费者与Web服务调用关系控制关系配置。
OBS工具汇总 对象存储服务(Object Storage Service,OBS)提供如表1所示工具,供用户使用。 表1 OBS工具一览表 工具 说明 应用场景 OBS Browser+ OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持完善的桶管理和对象管理操作。OBS
一个或多个Queue中,生产者生产消息并最终投递到Queue中,消费者可以从Queue中拉取消息进行消费。 多个消费者可以订阅同一个Queue,此时Queue中的消息会被平均分摊给多个消费者进行处理,而不是每个消费者都收到所有的消息。 本章节指导如何在控制台创建Queue。 前提条件
进入详情页面,通过查看日志等手段处理问题。 初始用户画像-物品画像-标准宽表生成 初始用户画像-物品画像-标准宽表生成,是将初始格式数据(离线数据)处理成用户画像、物品画像以及内部通用格式数据。 表1 初始用户画像-物品画像-标准宽表生成参数说明 参数名称 说明 数据源 数据在
RocketMQ提供PushConsumer和SimpleConsumer类型的消费者,PushConsumer消费者订阅普通消息时,代码不区分同步订阅和异步订阅。SimpleConsumer消费者订阅普通消息时,代码需要区分同步订阅和异步订阅。 普通消息发送方式分为同步发送和异步发送。