检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
近线作业 近线作业简介 近线作业为推荐系统提供实时计算能力。近线作业以数据接入服务DIS中的数据为数据源,实时计算并更新用户画像、物品画像和推荐候选集等数据。使用近线作业,用户需先将业务系统埋点日志转换成实时日志指定格式,并实时写入DIS相应通道。近线作业具体实现请参见图1。 图1
管理属性配置 属性配置以键值对的方式进行存储,配置后的配置项可以用于整个服务。该配置项的值为用户指定的OBS路径,OBS相关操作请参见创建OBS桶。 前提条件 已开通OBS服务,并按照推荐系统OBS文件夹规范建议格式创建文件夹。 已上传离线数据。 创建场景 您可以根据自己的业务创
数据质量 数据质量检测算子,是用户在进行离线计算之前使用原始初始格式数据(离线数据源中的离线数据)或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下:
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云
实时日志 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。用户发送到DIS上的数据具体如下: 实时行为日志 实时行为日志的作用包括: 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名
离线数据源 调用RES之前,您需要准备3种基础数据包并上传至OBS,离线数据源目前支持CSV和JSON。具体数据包请参见表1 基础数据表。 表1 基础数据表 数据类型 表名 用户类数据 用户属性表 物品类数据 物品属性表 行为类数据 用户操作行为表 用户需要自己手工创建整理这些表并存储到OBS上。
召回策略 召回是指对大量的物品做初选,为每一个用户形成个性化侯选集。召回策略中内置了多种召回方式,用户可根据自己场景选择。召回策略对应流程请参见图1。 图1 召回策略 推荐系统支持的召回方式有: 基于特定行为热度推荐 基于综合行为热度推荐 基于物品的协同过滤推荐 基于用户的协同过滤推荐
绑定依赖资源 功能介绍 该接口用于绑定推荐系统所需的平台资源,绑定后可用于离线、近线、排序等作业的运行。 URI POST /v1/{project_id}/resources 参数说明请参见表1-URI参数说明。 表1 URI参数说明 名称 是否必选 类型 说明 project_id
获取推荐结果 在线服务创建完成,部署成功后,当服务状态会显示“运行中”,表示服务状态正常。您可以通过在线预测功能测试推荐结果进一步调整作业参数,也可以通过预测接口来调用API,获取推荐结果。 在线预测 登录RES管理控制台,在左侧菜单栏中选择“在线服务”,进入服务列表页面。 单击
什么是区域、可用区? 什么是区域、可用区? 使用用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region
创建在线服务 在线服务负责分析结果的应用过程,泛指部署线上服务后提供的推理服务,对外提供API接口。在推荐系统中,包含推荐引擎、文本标签、排序三种在线服务,具体说明如下: 推荐引擎 推荐引擎用于对RES召回策略跑出来的候选集结果进行融合过滤和排序。 文本标签 文本标签服务为用户提
创建智能场景 猜你喜欢主要应用于浏览意向不明确,如首页推荐等,RES能够根据用户的长短期行为表现出来的兴趣进行学习与训练,结合长短期兴趣进行个性化推荐。 关联推荐主要应用于固定的物品的关联推荐,根据已关联的物品对相关的内容和行为进行挖掘,网状匹配相关联的物品,进行有关联度的推荐。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证通用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证 Token的有效期为24小时,需
过滤规则 过滤规则用于配置候选集的过滤方式,使之不进入候选集。对于每个需要过滤的行为,生成用户具有该行为的物品的列表。再对同用户的每种行为的物品列表进行“与”或者“或”的关系,最终生成用户-物品过滤表。 表1 过滤规则参数说明 参数名称 说明 名称 自定义过滤规则名称。由中文、英
过滤规则 过滤规则用于配置候选集的过滤方式,使之不进入候选集。过滤规则说明请参见图1。 图1 过滤规则 创建过滤规则 在“创建过滤规则”页面,用户可以对目标数据选择不同策略进行离线计算,得到合适的候选集。 创建过滤规则操作步骤如下: 在“离线作业”下,单击“过滤规则”页签,单击该
获取推荐结果 在线服务创建完成,部署成功后,当服务状态会显示“运行中”,表示服务状态正常。您可以通过在线预测功能测试推荐结果进一步调整作业参数,也可以通过预测接口来调用API,获取推荐结果。 界面预测 登录RES管理控制台,在左侧菜单栏中选择“推荐业务>自定义场景”,进入自定义场景列表页面。
特征工程 特征工程可对推荐系统的离线数据进行处理,它包含两个功能: 从离线数据中提取用户、物品画像和RES内部通用格式数据; 把RES内部通用格式数据处理成训练排序模型所需的训练数据、测试数据等。 与功能对应,特征工程的两个任务分别是: 初始用户画像-物品画像-标准宽表生成 排序样本预处理
智能场景(猜你喜欢) RES提供了智能场景包括猜你喜欢、热门推荐和关联推荐。仅需要简单的配置和作业训练,即可获取推荐结果。 本章节以猜你喜欢为例,帮助您快速熟悉智能场景的使用过程。开始使用样例前,请仔细阅读准备工作罗列的要求,提前完成准备工作。使用智能场景获取推荐结果的步骤如下所示:
提交实时流近线作业 功能介绍 该接口用于提交实时流作业并进行近线计算。 URI POST /v1/{project_id}/nearline-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
提交数据质量作业API 功能介绍 该接口用于提交数据质量作业并进行离线计算。 URI POST /v1/{project_id}/data-quality 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用