检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据源任务结果 功能介绍 查询指定数据源下离线任务的结果。其中包括数据格式,数据检测、数据探索及效果评估的内容。 调试 您可以在API Explorer中调试该接口。 URI GET /v2.0/{project_id}/workspaces/{workspace_id}/d
导入近线数据源 通过导入近线数据源,达到实时计算并更新用户画像、物品画像,实时更新增量数据的目的。 前提条件 按数据规范准备数据并上传至通道。具体上传方法请参见上传实时数据。 导入近线数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。 在数据源列表
Nearline object 近线数据源。 表6 Offline 参数 是否必选 参数类型 描述 user_url 是 String 用户数据url。 item_url 是 String 物品数据url。 behavior_url 是 String 行为数据url。 表7 Nearline
修改数据源特征 功能介绍 修改数据源中的特征。 调试 您可以在API Explorer中调试该接口。 URI PUT /v2.0/{project_id}/workspaces/{workspace_id}/data-sources/{datasource_id}/data-struct
修改或删除数据源 您可以对离线数据源进行重新编辑操作来更新数据源,如果该数据源不再使用,您可以删除数据源释放资源。 修改离线数据源 前提条件 已存在的离线数据源有修改或者更新并已经上传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。 注意事项 修改编辑之
需确保OBS桶与RES在同一区域。 将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。 数据上传成功后,在OBS管理控制台页面单击进入创建的桶,选择“对象”查看上传的数据。 父主题: 数据源管理
RES的离线数据源包括什么? 离线数据包括如下几张表: 用户属性表 物品属性表 用户操作行为表 每张表的字段描述和规范详情请参见《推荐系统用户指南》中准备离线数据源章节。 父主题: 数据源
nearline Nearline object 近线数据源。 表6 Offline 参数 参数类型 描述 user_url String 用户数据url。 item_url String 物品数据url。 behavior_url String 行为数据url。 表7 Nearline 参数 参数类型
实时数据能否立即应用到推荐场景? 需要确认关联的召回策略,近线召回可以,离线召回不可以。离线召回需要重新执行。 父主题: 数据源
是否有样例数据支撑我进一步了解RES? RES提供了可用来测试的全量数据,包括智能场景和自定义场景的样例测试。 智能场景的样例测试,可参见智能场景(猜你喜欢)。 自定义场景的样例测试,可参见自定义场景(热度推荐)。 父主题: 基础问题
AutoGroup,AutoGroup作业 StreamRank,在线训练作业 DataStruct,识别数据结构作业 DataExploration,数据探索作业 DataImport,离线数据导入作业 Evaluate,效果评估作业 schedule 否 String 调度参数 表4 jobConfig
作业相关API 提交组合作业 提交召回作业 提交过滤作业 提交特征工程作业 提交排序作业 提交实时流近线作业 提交流式训练作业 提交数据质量作业 策略参数说明 停止算子作业 查询作业列表 查询作业详情 重新执行作业 删除作业 提交效果评估任务 查询效果指标 编辑修改作业 更新索引结构
特征工程 特征工程可对推荐系统的离线数据进行处理,它包含两个功能: 从离线数据中提取用户、物品画像和RES内部通用格式数据; 把RES内部通用格式数据处理成训练排序模型所需的训练数据、测试数据等。 与功能对应,特征工程的两个任务分别是: 初始用户画像-物品画像-标准宽表生成 排序样本预处理
全局特征信息文件 在特征工程、在线模块,近线模块时都会用到该全局的特征信息文件。当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。 表1 全局特征信息文件字段描述 字段名 类型 描述 是否必选 user_features
实时日志 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。用户发送到DIS上的数据具体如下: 实时行为日志 实时行为日志的作用包括: 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名
用于存放经过特征工程处理的宽表,又名通用格式数据。 │ obs-pretrain-data 用于存放排序预处理任务生成的预训练数据。 │ obs-error-data 用于存放异常数据输出路径,来源于近线策略。 │ obs-nearline-data 用于存放近线任务结果数据,宽表形式。
产品功能 数据源 数据源功能可以在用户上传数据后,将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。提供数据源智能检测,输出数据分布和数据质量信息等,智能完成特征工程。 智能场景 根据业务场景选择对应的智能推荐场景,快速搭建专属推荐
全局指标配置 功能介绍 该接口用于提交全局指标配置。 URI POST /v1/{project_id}/global-setting 参数说明请参见表1-URI参数说明。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
Service,简称OBS)进行数据源以及黑白名单和用户数据的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户类数据,物品类数据,行为数据以及推荐候选列表。 黑名单和白
推荐作业有哪几种创建方式? 推荐系统支持如下几种作业创建方式: 通过RES管理控制台创建作业、查看推荐和效果评估结果。详情参见《推荐系统用户指南》。 通过API提交任务并获取结果。详请参见《推荐系统API参考》。 父主题: 基础问题