检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量管理操作可以将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。 数据结构介绍 数据结构步骤的主要目的是读取用户上传的离线数据,解析用户特征和物品特征中每一个属性的数据格式、统计所有行为,然后保存解析生成的数据格式。
修改或删除数据源 您可以对离线数据源进行重新编辑操作来更新数据源,如果该数据源不再使用,您可以删除数据源释放资源。 修改离线数据源 前提条件 已存在的离线数据源有修改或者更新并已经上传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。
即根据不同的离线计算得到的候选集以及相关参数,提供不同的推荐服务。 表1 在线服务参数说明 参数名称 子参数 说明 召回池 “推荐候选集” “添加推荐候选集” 选择表名:添加离线、近线任务或者在线自定义检索召回策略生成的候选集进行融合。
“OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。
推荐系统OBS文件夹规范 使用推荐系统时,需要在OBS创建桶并导入离线数据,同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径,建议您按照如下结构准备数据创建文件夹,并上传至OBS桶。
offline_platform 是 JSON 请参见表3,离线计算平台信息。 storage 是 JSON 请参见表8,信息存储。 filter_rules 否 JSON 过滤配置列表。
提交数据质量作业API 功能介绍 该接口用于提交数据质量作业并进行离线计算。 URI POST /v1/{project_id}/data-quality 参数说明请参见表1。
查询数据源任务结果 功能介绍 查询指定数据源下离线任务的结果。其中包括数据格式,数据检测、数据探索及效果评估的内容。 调试 您可以在API Explorer中调试该接口。
查询训练规格 功能介绍 查询当前推荐系统所提供的离线计算规格,实时计算规格和排序模型训练规格。在创建数据源和场景时,需要提供此信息。 调试 您可以在API Explorer中调试该接口。
开通计算引擎DLI、ModelArts DLI用于推荐系统的离线计算和近线计算。排序策略所使用的计算资源由Modelarts服务提供并收费。在使用推荐系统之前,您需要开通数据湖探索(Data Lake Insight,简称DLI)来创建集群。 DLI服务 登录华为云。
数据探索是一个离线分析任务,任务有对应的启动时间,由于近线实时数据会实时入库,因此可以通过定时执行数据探索任务来覆盖增量数据。 父主题: 数据源
创建跨源连接 在使用DLI进行推荐系统的离线和近线计算时,建议创建跨源连接,用于访问CloudTable的数据源,提高读写性能。 前提条件 已开通计算引擎DLI服务,创建集群并完成资源绑定。 创建跨源链接 DLI集群绑定完成后,创建跨源链接。
通过DLF重新执行作业 推荐系统提供了重新执行作业的API,用来将任务以相同的配置重新执行一次,实现对离线任务生成结果的更新。以固定的周期定时调用此API,可保持结果处于一个较新的状态,以获得更好的推荐结果。
涉及计费功能包含:数据源、自定义场景、智能场景中的离线计算和模型训练。 存储资源:用于推荐系统数据存储规格。涉及计费功能包括:数据源。 在线服务:用于推荐系统在线推理,获得最终推荐结果。
“用户属性表”:离线数据用户属性表的OBS路径。 “物品属性表”:离线数据物品属性表的OBS路径。 “用户操作行为表”:离线数据用户操作行为表的OBS路径。
绑定依赖资源 功能介绍 该接口用于绑定推荐系统所需的平台资源,绑定后可用于离线、近线、排序等作业的运行。 URI POST /v1/{project_id}/resources 参数说明请参见表1-URI参数说明。
工作空间简介 RES工作空间帮您实现离线作业、近线作业和在线服务隔离的功能,达到不同角色用户信息隔离管理的目的。 如果您未开通企业项目管理服务的权限,您可以在RES创建自己独立的工作空间。
由于RES使用的离线数据需存储在OBS中,数据存储产生的费用,请参见《OBS价格说明》。 表1 推荐系统计费项说明 计费项 说明 存储资源 应用于物品画像和用户画像的存储计费,对用户和物品的总条目数统计进行收费。
表5 data_source参数说明 参数名称 是否必选 参数类型 说明 offline 是 List 请参见表6,离线数据源。
其中,在最新动态可查看所创建“离线作业”、“近线作业”和“在线服务”的名称、状态和创建时间。 图1 总览 单击作业或服务名称,进入该详情页面,可以查看资源信息、策略信息和日志信息。您也可以通过页面快速创建作业或服务。单击“创建在线服务”,快速进入创建在线服务页面。