检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于RES使用的离线数据需存储在OBS中,数据存储产生的费用,请参见《OBS价格说明》。 表1 推荐系统计费项说明 计费项 说明 存储资源 应用于物品画像和用户画像的存储计费,对用户和物品的总条目数统计进行收费。 每个数据源默认规格最低是一百万条,如果一个数据源中的用户和物品总条目数不超过
叠加在模型的2范数之上,用来对模型值进行限制防止过拟合。默认0。 正则损失计算方式 正则损失计算当前有两种方式。 full:指针对全量参数计算。 batch:则仅针对当前批数据中出现的参数计算 说明: batch模式计算速度快于full模式。 重新训练 对第一次训练无影响,仅影响任务重跑。
weight 是 Integer 设置当前模型版本的流量占比。 specification 是 String 计算节点规格。 instance_count 是 Integer 计算节点个数,即当前版本模型的实例个数。 image_id 否 String 镜像id,跟model_id互斥,二者只能取一。
删除元数据。操作必须确保流程中没有使用该作业产生的UUID,可以参考以下操作完成。 删除离线作业 您可以对“计算成功”、“计算失败”等状态的作业进行删除,“启动中”、“计算中”状态的作业不支持删除操作。 登录RES管理控制台。在左侧菜单栏中选择“离线作业”下的目标推荐作业,进入作业列表。
SK并确保关联AK/SK到ModelArts服务,然后通过查询ModelArts计算节点规格获取spec_id返回的值。 run_path 是 String 训练结果保存根路径,训练完成后,会将模型和日志文件保存在该路径下。不包含中文的文件夹。 training_data_path
训练作业描述,最大长度为256字符。 offline_platform 是 List 请参见表3,离线计算平台信息。 data_source 是 List 请参见表5数据源。 storage 是 List 请参见表8,信息存储。 algorithm_setting 是 JSON 请参见表10,算法配置。
您可以对处于“启动中”、“计算中”状态的作业进行“终止”操作,“计算成功”和“计算失败”状态的作业无法终止。 登录RES管理控制台,在左侧菜单栏中选择“离线作业”下的目标推荐作业,进入作业列表。 在作业列表页面,您可以单击目标作业“操作”列的“终止”结束离线作业的启动或计算。 重新执行离线作业
选择导入数据类型。详请参见表1。 表1 近线数据源参数说明 参数名称 说明 实时计算规格 可选择“4CU”、“8CU”、“16CU”和“32CU”四种规格。 用户画像实时导入 通过SDK导入通道中存储的用户画像实时数据。详情参见上传实时数据。在“用户画像实时导入”右侧,单击打开按钮,在弹出的对话框中进行确认。
Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage Service,简称OBS)存储RES的推荐数据源,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务文档》。 数据接入服务
的数据时,其路径具体到文件夹即可。 结果存储平台 存储类型有用户画像表和物品画像表两种。 用户画像表:用户自定义CloudTable集群名称和表名,用于存储生成的用户数据。 物品画像表:用户自定义CloudTable集群名称和表名,用于存储生成的物品数据。 设置数据版本:您可以单
防止过拟合。取值范围[0,1],默认值为0。 正则损失计算方式 (regular_loss_compute_mode) 是 enum full指针对全量参数计算,batch则仅针对当前批数据中出现的参数计算,batch模式计算速度快于full模式。默认full。 因子分解机 表35
Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage Service,简称OBS)存储RES的推荐数据源,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务文档》。 数据接入服务
参数说明 参数名称 是否必选 参数类型 说明 stream_name 否 String 输出流DIS通道名称。该通道用于存放由行为数据和画像库计算生成的排序预处理数据,以供模型训练。通道中的数据属于流式训练作业产生的中间数据,使用者只需指定通道名称,无需往该通道发送或获取数据。 starting_offsets
取用户、物品特征和用户行为,并生成json数据,即内部通用格式。 默认选择初始格式 时间选择 时间选择包括数据时间和行为时间跨度。 数据时间:用于匹配在起始时间和终止时间内的行为数据。 行为时间跨度:指定历史行为时间段,选取数据中最靠后的时间往前N天的行为数据计算用户偏好。建议至少设置30天。
数据下载并上传至OBS后,您需要创建一个数据源用于后续的计算。具体操作步骤如下: 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。 单击“创建”,在创建数据源页面,输入数据源名称,选择离线计算规格,然后单击选择数据的OBS存储路径。 图4 创建离线数据源 数据路径选择完成后单击“立即创建”。
单击“确定”,页面提示作业新建成功即完成新建作业。 从“节点库”中选择“数据集成”下的“RestClient”节点,拖拽两个节点并关系如图1所示。“RestClient”节点参数配置说明请参见“数据治理中心 DataArts Studio>用户指南>数据开发>节点> Rest Client”。 图1
用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP
实时日志 RES根据实时发送到DIS上的日志,进行数据计算和处理,更新用户的相关数据。用户发送到DIS上的数据具体如下: 实时行为日志 实时行为日志的作用包括: 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名
作业。 从“节点库”中选择“数据集成”下的“RestClient”节点,拖拽节点如图1所示。“RestClient”节点参数配置说明请参见 “数据治理中心 DataArts Studio>用户指南>数据开发>节点> Rest Client”。 图1 重新执行作业节点配置 使用DLF时,无需进行鉴权。
如购买,收藏,内容评论或分享),并对这些喜好进行度量和打分。根据不同用户对相同物品的态度和偏好程度计算用户之间的关系。在有相同喜好的用户间进行物品推荐。 例如,A、B两个用户都购买了abc三本图书,并且给出了5星的好评。则A和B属于同一类用户。可以将A看过的图书d也推荐给用户B。