检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时日志 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。用户发送到DIS上的数据具体如下: 实时行为日志 实时行为日志的作用包括: 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名
通过DLF进行作业监控及任务异常重新启动 推荐系统提供了查询作业详情API接口,可返回作业详情。返回体中的作业状态字段“jobs.job_status”表示了当前任务的状态。 重新执行作业的API用来将任务以相同的配置重新执行一次。 通过查询作业详情API和重新执行作业的API可
推荐系统OBS文件夹规范 使用推荐系统时,需要在OBS创建桶并导入离线数据,同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径,建议您按照如下结构准备数据创建文件夹,并上传至OBS桶。 OBS文件夹示例 自定义OBS桶名 │ obs-offline-data
全局特征信息文件 在特征工程、在线模块,近线模块时都会用到该全局的特征信息文件。当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。 表1 全局特征信息文件字段描述 字段名 类型 描述 是否必选 user_features
准备离线数据源 在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数
数据格式规范 推荐系统OBS文件夹规范 离线数据源 实时日志 全局特征信息文件 父主题: 用户指南(旧版)
单击属性操作列的“保存”。 “任务配置地址”:用于存放创建作业时自动生成的JSON格式的配置源文件存储路径。 “全局特征信息文件”:根据全局特征信息文件规范准备并上传的全局特征信息文件路径。 “通用格式数据”:经过特征工程处理的宽表路径。 “用户属性表”:离线数据用户属性表的OBS路径。
使用RES进行推荐时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时,需保证您的OBS桶与RES在同一个区域。 父主题: 数据源
的训练文件路径。 测试数据的obs路径 单击选择特征工程排序样本预处理生成的测试数据所在的OBS路径。 即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。 特征值数量统计文件 该文件标识了每一个域下的特征数量,排序数据处理接口会生成这个文件,需要用户提供此文件完整路径
流式训练 可上传3份数据至DIS:实时行为日志、实时用户日志和实时物品日志,如实时日志所示。 实时行为日志会被“基于行为数据的用户画像更新”和“基于用户的标签搜索候选集”使用; 实时用户日志会被“基于用户数据更新用户画像”使用; 实时物品日志会被“基于物品数据更新物品画像”使用。 创建近线作业
据更新物品画像算子可以作为此处的作业ID。 新的全局特征配置文件路径(new_global_features_info) 是 String 该文件为JSON格式,包含特征名、特征大类、特征值类型。 新的全局特征配置文件(new_global_features_info)包含的特征
查询作业详情 通过调用API查询作业详情 通过DLF进行作业监控及任务异常重新启动 父主题: 作业相关API
物品(如新闻)过滤,使之不进入候选集。 过滤ID。 排序规则信息 该离线作业设置的排序规则详情。 日志信息 日志信息包括: 策略类型。 日志起始行。 日志总行数。 日志类型。 日志详情。 父主题: 离线作业
集群名称,选择“资源中心”绑定的DLI集群名称。 任务配置地址,在创建作业时, 会自动生成一个JSON格式的配置源文件,该文件存储在指定的OBS路径中,计算引擎可以通过读取配置源文件来进行离线计算。 资源名,指定DLI运行作业的资源规格。 存储平台 服务名称,CloudTable作为存储
(可选)开通数据接入资源DIS 在使用推荐系统之前,数据接入服务(Data Ingestion Service,简称DIS)采集用户实时日志,在计算引擎中消费实时日志并做近线处理。 登录华为云。在华为云“产品”页签,选择“大数据>数据接入服务DIS”,进入DIS产品页。单击“进入控制台”,开始使用DIS。
作业名称修改为您可以识别的名称。只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型、创建方式、选择目录、作业责任人、作业优先级、日志路径均选择默认参数。 单击“确定”,页面提示作业新建成功即完成新建作业。 从“节点库”中选择“数据集成”下的“RestClient”节点,
NEARLINE_WRITE_USER_PROFILE (根据用户信息日志写入用户画像) NEARLINE_WRITE_ITEM_PROFILE(根据物品信息日志写入物品画像) NEARLINE_UPDATE_USER_PORTRAIT(根据行为日志,更新用户画像) NEARLINE_UPDATE_
需要您准备包含用户类数据,物品类数据,行为数据以及推荐候选列表的离线数据源用于推荐系统的离线计算。 离线数据源 准备实时日志数据 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。 实时日志 运行推荐策略 创建离线作业 创建离线作业包括进行数据质量检测、创建组合作业、特征工程、召回策略、排序策略、过滤规则等作业。
所需的行为参数、模型文件路径、数据预处理信息等参数会从指定的在线服务的在线流程中获取。 online_training_config 是 JSON 请参见表12,平台参数。 bad_record_log 否 String 异常数据记录日志路径。路径填写到文件夹。 表12 online_training_config
数据质量检测算子参数说明 参数名称 说明 结果保存路径 数据质量检测日志的保存路径。包括错误数据输出及定位等。 全局特征信息文件 用户在使用数据质量检测算子之前,需要提供一份全局的特征信息文件,后续的特征工程、排序算法、在线服务都会用到该文件。全局特征信息文件需要和画像中字段一致,其中BASIC_INF