性能。 开通存储平台CloudTable CloudTable作为存储平台,用于用户推荐在线数据和推荐候选集的存储。在使用推荐系统之前,您需要开通表格存储服务(CloudTable Service)来创建集群。 登录华为云。在华为云“产品”页签,选择“大数据>表格存储服务Clou
通过DLF进行作业监控及任务异常重新启动 推荐系统提供了查询作业详情API接口,可返回作业详情。返回体中的作业状态字段“jobs.job_status”表示了当前任务的状态。 重新执行作业的API用来将任务以相同的配置重新执行一次。 通过查询作业详情API和重新执行作业的API可
数据格式规范 推荐系统OBS文件夹规范 离线数据源 实时日志 全局特征信息文件 父主题: 用户指南(旧版)
闻网站,category取值可能为娱乐、体育、时事等。 设置黑名单 设置黑名单列表。后续任务读取数据时,将会过滤掉指定的用户或物品的记录。文件格式为每个ID占据一行。 用户黑名单/物品黑名单 上传设置的黑名单列表。 场景规格 离线计算规格 可选择“4CU”、“8CU”、“16CU
训练作业描述,最大长度为256字符。 offline_platform 是 JSON 请参见表3,离线计算平台信息。 storage 是 JSON 请参见表8,信息存储。 strategy 是 JSON 请参见表5,策略信息 表3 offline_platform参数说明 参数名称 是否必选 参数类型 说明
排序策略 排序策略简介 排序策略用于训练排序模型,该模型将被用于对召回策略召回的候选集进行排序,以将推荐物品顺序调整到最优。排序模型可对LR、FM、FFM、DeepFM和PIN等模型进行训练,具体包括如下内容: 逻辑斯蒂回归-LR 因子分解机-FM 域感知因子分解机-FFM 深度网络因子分解机-DeepFM
基于您的业务需求,您需要开通RES相关服务,包括: 计算引擎DLI、ModelArts 存储平台CloudTable (可选)数据接入资源DIS 开通相关资源 绑定资源 针对您创建的集群等资源,需要完成绑定,才可以在创建作业时可选择绑定的集群进行计算存储等操作。 绑定资源 创建跨源链接 在使用DLI进行推荐系统
修改behavior.txt文件 将item.txt中的每条数据的publishTime字段的值修改到当前时间附近,将item.txt中的每条数据的expireTime字段的值修改成大于当前时间的值。 图3 修改item.txt文件 将“test-data”文件夹下的所有文件上传至准备工作中您创建的OBS路径下。
创建数据源之前您需要自己手工创建整理这些表并存储到OBS,推荐数据目前支持JSON格式。 离线数据为初次对接RES的批量数据,供场景中的召回算法和排序算法进行计算。近线数据可实时更新、增加用户和物品表数据,同时实时行为数据,可作为后续近线召回计算,这些近线行为数据也会和离线行为数据进行汇总存储,供离线计算。 数据源管理流程及功能简介
进入数据源列表页面。 在数据源列表单击目标数据源名称,进入数据源详情页面。 单击离线数据源右侧的“编辑”,在页面下方单击选择目标文件在OBS中的存储位置。 图1 修改离线数据源 单击“确认”,完成修改。 删除数据源 前提条件 已存在创建成功的数据源。 注意事项 数据源中的数据结
特征工程 特征工程可对推荐系统的离线数据进行处理,它包含两个功能: 从离线数据中提取用户、物品画像和RES内部通用格式数据; 把RES内部通用格式数据处理成训练排序模型所需的训练数据、测试数据等。 与功能对应,特征工程的两个任务分别是: 初始用户画像-物品画像-标准宽表生成 排序样本预处理
提交流式训练作业 功能介绍 该接口用于提交流式训练作业。 URI POST /v1/{project_id}/stream-etl-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
able、ModelArts等服务,如果没有添加访问密钥,则无法调用接口。 获取访问秘钥并添加RES全局配置 属性配置 以键值对的方式进行存储,配置后的配置项可以用于整个服务。 管理属性配置 计算资源 计算资源包括DLI服务,添加的计算资源需根据业务数据情况进行合理分配。 管理计算资源
管理属性配置 属性配置以键值对的方式进行存储,配置后的配置项可以用于整个服务。该配置项的值为用户指定的OBS路径,OBS相关操作请参见创建OBS桶。 前提条件 已开通OBS服务,并按照推荐系统OBS文件夹规范建议格式创建文件夹。 已上传离线数据。 创建场景 您可以根据自己的业务创
提交实时流近线作业 功能介绍 该接口用于提交实时流作业并进行近线计算。 URI POST /v1/{project_id}/nearline-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
RES操作流程 表1 使用流程说明 流程 子任务 说明 详细指导 数据源 准备离线数据源 需要您准备包含用户数据,物品数据,行为数据上传至对象存储服务(OBS)用于推荐系统的离线计算。 准备离线数据源 上传离线数据源至OBS 创建离线数据源 在使用RES之前,首先您需要创建一个数据源
效果评估 创建效果评估可以对线上服务设置指标,查看推荐效果的反馈,可以根据系统提供的指标添加。 创建效果评估 创建效果评估步骤如下: 在“离线作业”的“效果评估”页签,单击左上方“创建”,进入“创建效果评估”页面。 在“创建效果评估”页面,填写特征工程“名称”、“场景”和“描述”。
近线作业 近线作业简介 近线作业为推荐系统提供实时计算能力。近线作业以数据接入服务DIS中的数据为数据源,实时计算并更新用户画像、物品画像和推荐候选集等数据。使用近线作业,用户需先将业务系统埋点日志转换成实时日志指定格式,并实时写入DIS相应通道。近线作业具体实现请参见图1。 图1
管理离线作业 您可以对各离线作业进行“复制”、“编辑”、“终止”、“重新执行”、“删除”等操作。您也可以通过查看服务的详细信息判读作业训练状态和查询训练结果。 复制离线作业 用户可以通过复制组合作业再次创建新的作业进行离线计算。生成的数据和原来的作业生成的数据相互独立,复制的离线作业会生成新的线上指定的UUID。
组合作业 创建组合作业 通过创建组合作业,用户可以根据配置的策略规则进行离线计算得到不同策略的候选集ID,来进行在线流程计算,得到用户满意的推荐结果。组合作业具体实现请参见图1。 图1 组合作业 创建组合作业主要包括如下设置: 基本配置 资源选择 召回策略 过滤规则 排序策略 预览配置
您即将访问非华为云网站,请注意账号财产安全