检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源 RES的离线数据源包括什么? 如何上传数据至OBS 如何上传实时数据? 离线数据和近线实时数据如何配合使用? 数据探索是什么?近线实时数据如何在数据探索中的报告体现? 如何确定近线数据源导入实时数据成功? 实时数据能否立即应用到推荐场景?
本章节介绍使用RES,从资源准备到在线服务完成推荐的全流程。RES流程图如图1所示。 图1 RES操作流程 表1 使用流程说明 流程 子任务 说明 详细指导 数据源 准备离线数据源 需要您准备包含用户数据,物品数据,行为数据上传至对象存储服务(OBS)用于推荐系统的离线计算。 准备离线数据源 上传离线数据源至OBS
使用RES,从资源准备到在线服务完成推荐的全流程,如图1所示。 图1 RES操作流程 表1 使用流程说明 流程 子任务 说明 详细指导 数据源 准备离线数据源 需要您准备包含用户数据,物品数据,行为数据上传至对象存储服务(OBS)用于推荐系统的离线计算。 准备离线数据源 上传离线数据源至OBS 创建离线数据源
物品数据,行为数据。 上传离线数据源至OBS 将准备的离线数据源上传至对象存储服务(OBS)用于推荐系统的离线计算。 创建离线数据源 在使用RES之前,首先您需要创建一个数据源,后续的操作都是基于您创建的数据源进行的。 上传实时数据 RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。
与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索(Data Lake Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage Se
计费项 RES服务根据用户使用的不同资源分别进行收费。 计费支持区域:华北-北京四。 由于RES使用的离线数据需存储在OBS中,数据存储产生的费用,请参见《OBS价格说明》。 表1 推荐系统计费项说明 计费项 说明 存储资源 应用于物品画像和用户画像的存储计费,对用户和物品的总条目数统计进行收费。
通过DLF进行作业监控及任务异常重新启动 推荐系统提供了查询作业详情API接口,可返回作业详情。返回体中的作业状态字段“jobs.job_status”表示了当前任务的状态。 重新执行作业的API用来将任务以相同的配置重新执行一次。 通过查询作业详情API和重新执行作业的API可完成对任务状态的监
和在线服务配置行为过滤。当数据源部分开启近线行为实时接入之后,并且用户通过上传实时行为数据,系统才具备根据实时行为进行曝光过滤的功能,该部分可参考上传实时数据进行配置和对接。 本实践的基本流程如下: 准备工作 创建数据源 配置在线服务参数 获取推荐结果 准备工作 已注册华为云帐号,并且账号为可用状态。
算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage Service,简称OBS)存储RES的推荐数据源,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务文档》。 数据接入服务 数据接入服务(Data Ingestion
准备工作 注册华为帐号并开通华为云 获取访问密钥并添加RES全局配置 创建OBS桶 开通相关资源 父主题: 用户指南(旧版)
获取访问密钥(AK/SK) 由于使用RES时,上传数据、进行计算等需要依赖其他服务,若没有添加访问密钥则无法使用其他服务。 获取访问密钥 登录华为云,在页面右上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的帐户名下方,单击“我的凭证”,进入“我的凭证”页面。
spec_id 是 Int 训练作业选择的资源规格ID。在使用ModelArts之前需要查询ModelArts服务AK/SK并确保关联AK/SK到ModelArts服务,然后通过查询ModelArts计算节点规格获取spec_id返回的值。 run_path 是 String 训
参数配置完成后可单击“下一步:在线服务”。 在线服务 在“在线服务”页面,填写基本信息。您可以根据实际情况填写“名称”、“描述”信息或“开启异常告警”。单击开启异常告警,在下拉选项中选择SMN主题名称。如果您还未有可选的主题,请前往消息通知服务创建主题。 单击“添加在线流程”,并
如何确定近线数据源导入实时数据成功? 近线数据源上传成功后,可在推荐系统控制台的“数据源”直接查看。 父主题: 数据源
导入近线数据源 通过导入近线数据源,达到实时计算并更新用户画像、物品画像,实时更新增量数据的目的。 前提条件 按数据规范准备数据并上传至通道。具体上传方法请参见上传实时数据。 导入近线数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。 在数据源列表单击目标数据源名称,进入数据源详情页面。
是否必选 参数类型 说明 is_success 是 Boolean 是否成功。 jobs 是 List 请参见表3,返回的作业信息。 total_items 是 Integer 作业总条数。 表3 jobs参数说明 参数名称 是否必选 参数类型 说明 job_id 是 String 训练作业ID。
通过调用API查询作业详情 功能介绍 该接口用于查询作业详情。 URI GET/v1/{project_id}/jobs/{job_id} 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
System,简称RES) ,基于华为大数据和人工智能技术,提供推荐平台和算法服务,并帮助企业构建个性化推荐应用,助力提升网站/APP的点击率、留存率和用户体验。 RES优势 开放式推荐 提供完整的推荐平台和原子推荐算法,不绑定客户的运营场景,客户可以在华为云上根据自己对推荐算法和运营
数据格式规范 推荐系统OBS文件夹规范 离线数据源 实时日志 全局特征信息文件 父主题: 用户指南(旧版)
创建在线服务 在线服务负责分析结果的应用过程,泛指部署线上服务后提供的推理服务,对外提供API接口。在推荐系统中,包含推荐引擎、文本标签、排序三种在线服务,具体说明如下: 推荐引擎 推荐引擎用于对RES召回策略跑出来的候选集结果进行融合过滤和排序。 文本标签 文本标签服务为用户提