检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
特征工程 特征工程可对推荐系统的离线数据进行处理,它包含两个功能: 从离线数据中提取用户、物品画像和RES内部通用格式数据; 把RES内部通用格式数据处理成训练排序模型所需的训练数据、测试数据等。 与功能对应,特征工程的两个任务分别是: 初始用户画像-物品画像-标准宽表生成 排序样本预处理
删除指定工作空间。 查询规格 查询训练规格 查询当前推荐系统所提供的离线计算规格,实时计算规格和排序模型训练规格。在创建数据源和场景时,需要提供此信息。 数据源 创建数据源 在指定的工作空间下面创建一个新的数据源。 查询数据源列表 查询当前工作空间下的数据源列表。 查询数据源详情 查询指定数据源的详情信息。
产品功能 数据源 数据源功能可以在用户上传数据后,将离线数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。提供数据源智能检测,输出数据分布和数据质量信息等,智能完成特征工程。 智能场景 根据业务场景选择对应的智能推荐场景,快速搭建专属推荐
全局特征信息文件 在特征工程、在线模块,近线模块时都会用到该全局的特征信息文件。当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。 表1 全局特征信息文件字段描述 字段名 类型 描述 是否必选 user_features
默认基于用户数据更新用户画像。 数据源 服务名:DIS。将实时近线任务需要的实时用户日志数据添加到DIS中,推荐系统通过读取该数据进行近线计算。 通道名称:数据通道名称,不同类型的数据需要创建不同的通道。 起始位置:读取DIS数据的起始位置,latest表示从最新的数据开始读取,e
以获得更好的推荐结果。 以上功能,我们也可以使用数据治理中心 DataArts Studio,通过拖拽的方式完成配置。具体操作步骤如下: 登录数据治理中心 DataArts Studio管理控制台,在控制台的左侧导航栏,选择“数据开发 > 作业开发”。 在“工作区”页面的右侧,单击“新建作业”。
Service,简称OBS)进行数据源以及黑白名单和用户数据的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户类数据,物品类数据,行为数据以及推荐候选列表。 黑名单和白
自定义场景”,进入“自定义场景”列表页面。 在自定义场景列表中,单击目标场景名称进入“自定义场景详情”页。 在基本信息页签下单击,在弹出页面修改“数据区间”和“场景规格”等信息。 参考基本信息修改自定义场景基本信息,然后单击“确认”完成修改。 新增作业配置 登录RES管理控制台,在左侧菜单栏中选择“推荐业务
图4 创建离线数据源 数据路径选择完成后单击“立即创建”。 离线数据源创建完成后,在数据源列表页面单击目标数据源名称进行数据质量管理,具体操作请参见推荐系统用户指南>数据源质量管理,完成数据探索并生成数据质量报告,此步骤完成后创建的数据源才可用。 步骤3:创建智能场景 登录R
可提工单支持更高规格。 单份画像数据中最多支持的特征数量 30 单场景在线服务最多支持每秒请求的次数(TPS) 200 数据源个数 5 场景个数 10 单场景下推荐预测返回的结果集个数 20 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。配额查看及修改请参见关于配额。
过滤、排序等任务。 组合作业 数据质量 数据质量是用户在进行离线计算之前使用原始初始格式数据或者通用格式数据检测输入数据是否合法。 数据质量 特征工程 特征工程常用于抽取用户、物品的特征和特定算法的特征生成,一般作为某些算法的前置输入条件。 特征工程 召回策略 召回策略用于生成推
AutoGroup,AutoGroup作业 StreamRank,在线训练作业 DataStruct,识别数据结构作业 DataExploration,数据探索作业 DataImport,离线数据导入作业 Evaluate,效果评估作业 schedule 否 String 调度参数 表4 jobConfig
效果评估 创建效果评估可以对线上服务设置指标,查看推荐效果的反馈,可以根据系统提供的指标添加。 表1 效果评估参数说明 参数名称 说明 名称 自定义名称,由中文、英文、数字、下划线、空格或者中划线组成,并且不能以空格开始和结束,长度为1~64个字符。 描述 对于该效果评估作业的描述信息。
load_widetable 否 Boolean 导入宽表(离线数据导入作业需要提供此参数)。 load_profile 否 Boolean 导入画像(离线数据导入作业需要提供此参数)。 save_mode 否 String 保留已有宽表(离线数据导入作业需要提供此参数): append,是 new,否
√ √ 查询工作空间列表 √ √ 修改工作空间 √ x 删除工作空间 √ x 新增数据源 √ x 查询数据源详情 √ √ 查询数据源列表 √ √ 修改数据源 √ x 删除数据源 √ x 新增场景 √ x 查询场景 √ √ 查询场景列表 √ √ 修改场景 √ x 删除场景 √ x 运行场景
提交过滤作业 提交特征工程作业 提交排序作业 提交实时流近线作业 提交流式训练作业 提交数据质量作业 策略参数说明 停止算子作业 查询作业列表 查询作业详情 重新执行作业 删除作业 提交效果评估任务 查询效果指标 编辑修改作业 更新索引结构 父主题: API(V1不推荐)
序。 数据源 从右侧下拉框中选择RES系统中已有的数据源。当无可用数据源时,此下拉框为空。 数据区间 时间单位 支持天和小时。 数据选择 指定历史行为时间段,选取数据中最靠后的时间往前N天或N小时的行为数据计算用户偏好。 物品类别 是否需要根据category值对原始数据进行过滤
什么是区域、可用区? 什么是区域、可用区? 使用用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region
res:workspace:delete √ √ 创建数据源 POST /v2.0/{project_id}/workspaces/{workspace_id}/data-sources res:data-source:add √ √ 查询数据源详情 GET /v2.0/{project_
什么是推荐系统 推荐系统(Recommender System,简称RES) ,基于华为大数据和人工智能技术,提供推荐平台和算法服务,并帮助企业构建个性化推荐应用,助力提升网站/APP的点击率、留存率和用户体验。 RES优势 开放式推荐 提供完整的推荐平台和原子推荐算法,不绑定客