检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源管理 数据源管理简介 准备离线数据源 上传离线数据源至OBS 上传实时数据 创建离线数据源 导入近线数据源 数据质量管理 修改或删除数据源
如何上传实时数据? 推荐系统支持您通过SDK上传实时数据,具体操作方法如下。 前提条件 如果需要使用近线上传实时数据的用户,可以使用DIS SDK接口上传,请您按照需求下载DIS SDK,下载完之后按照下面的说明进行SDK升级。 子账户无法使用SDK上传数据,需要主账号授权子账号DIS
数据格式规范 推荐系统OBS文件夹规范 离线数据源 实时日志 全局特征信息文件 父主题: 用户指南(旧版)
如何上传数据至OBS 使用RES进行推荐时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时,需保证您的OBS桶与RES在同一个区域。
nearline Nearline object 近线数据源。 表6 Offline 参数 参数类型 描述 user_url String 用户数据url。 item_url String 物品数据url。 behavior_url String 行为数据url。 表7 Nearline 参数 参数类型
删除数据源 功能介绍 删除数据源。 调试 您可以在API Explorer中调试该接口。 URI DELETE /v2.0/{project_id}/workspaces/{workspace_id}/data-sources/{datasource_id} 表1 路径参数 参数
提交数据质量作业 提交数据质量作业API 查询全局特征配置 父主题: 作业相关API
数据源如何收费? 数据源的收费包括三项。 “OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据
String 推荐通用数据模板 用户属性表USER_META 物品属性表ITEM_META 用户操作行为表USER_BEHAVIOR 数据格式请参见推荐系统离线数据源。 通用格式 GENERAL_FORMAT data_source_url 是 String 数据源路径,最大长度1000字符。
导入近线数据源 通过导入近线数据源,达到实时计算并更新用户画像、物品画像,实时更新增量数据的目的。 前提条件 按数据规范准备数据并上传至通道。具体上传方法请参见上传实时数据。 导入近线数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。 在数据源列表
查询数据源任务结果 功能介绍 查询指定数据源下离线任务的结果。其中包括数据格式,数据检测、数据探索及效果评估的内容。 调试 您可以在API Explorer中调试该接口。 URI GET /v2.0/{project_id}/workspaces/{workspace_id}/d
Nearline object 近线数据源。 表6 Offline 参数 是否必选 参数类型 描述 user_url 是 String 用户数据url。 item_url 是 String 物品数据url。 behavior_url 是 String 行为数据url。 表7 Nearline
修改数据源特征 功能介绍 修改数据源中的特征。 调试 您可以在API Explorer中调试该接口。 URI PUT /v2.0/{project_id}/workspaces/{workspace_id}/data-sources/{datasource_id}/data-struct
修改或删除数据源 您可以对离线数据源进行重新编辑操作来更新数据源,如果该数据源不再使用,您可以删除数据源释放资源。 修改离线数据源 前提条件 已存在的离线数据源有修改或者更新并已经上传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。 注意事项 修改编辑之
需确保OBS桶与RES在同一区域。 将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。 数据上传成功后,在OBS管理控制台页面单击进入创建的桶,选择“对象”查看上传的数据。 父主题: 数据源管理
RES的离线数据源包括什么? 离线数据包括如下几张表: 用户属性表 物品属性表 用户操作行为表 每张表的字段描述和规范详情请参见《推荐系统用户指南》中准备离线数据源章节。 父主题: 数据源
nearline Nearline object 近线数据源。 表6 Offline 参数 参数类型 描述 user_url String 用户数据url。 item_url String 物品数据url。 behavior_url String 行为数据url。 表7 Nearline 参数 参数类型
实时数据能否立即应用到推荐场景? 需要确认关联的召回策略,近线召回可以,离线召回不可以。离线召回需要重新执行。 父主题: 数据源
输出流DIS通道名称。该通道用于存放由行为数据和画像库计算生成的排序预处理数据,以供模型训练。通道中的数据属于流式训练作业产生的中间数据,使用者只需指定通道名称,无需往该通道发送或获取数据。 starting_offsets 是 String 读取DIS数据的起始位置,LATEST表示从最新的数据开始读取。 表10
是否有样例数据支撑我进一步了解RES? RES提供了可用来测试的全量数据,包括智能场景和自定义场景的样例测试。 智能场景的样例测试,可参见智能场景(猜你喜欢)。 自定义场景的样例测试,可参见自定义场景(热度推荐)。 父主题: 基础问题