检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
近线作业 近线作业简介 近线作业为推荐系统提供实时计算能力。近线作业以数据接入服务DIS中的数据为数据源,实时计算并更新用户画像、物品画像和推荐候选集等数据。使用近线作业,用户需先将业务系统埋点日志转换成实时日志指定格式,并实时写入DIS相应通道。近线作业具体实现请参见图1。 图1
创建组合作业参数说明 模块 参数名称 说明 计算引擎 服务名 计算引擎用于推荐系统的离线计算和近线计算。默认DLI。 集群名称 选择“资源中心”绑定的DLI集群名称。 任务配置地址 在创建作业时, 会自动生成一个JSON格式的配置源文件,该文件存储在指定的OBS路径中,计算引擎可以通过读取配置源文件来进行离线计算。
用户数据包括数据源中的“用户属性表”和用于近线计算的“用户画像”数据。用户数据记录用户的属性信息,例如地域、爱好等。 物品数据 物品数据包括数据源中的“物品属性表”和用于近线计算的“物品画像”数据。物品数据记录物品的属性信息,例如类别、长度等。 行为数据 行为数据包括数据源中的“用户操作行为表”和用于近线计算的“行为
质量作业列表,查看作业的基本情况。在作业列表中,刚创建的离线作业“状态”为“计算中”,当离线作业的“状态”变为“计算成功”时,表示作业运行结束,检测完的数据将使用于离线作业。当离线作业的“状态”变为“计算失败”时,您可以单击作业的名称,进入详情页面,通过查看日志等手段处理问题。 父主题:
业得到推荐候选集,用于在线服务计算得到推荐结果。 自定义场景功能说明 表1 功能说明 功能 说明 详细指导 创建自定义场景 自定义场景作为一个包含多个子任务的作业,通常用于多个召回、过滤、排序等任务。 创建自定义场景 召回策略 召回策略通过大数据计算或深度训练生成推荐候选集。 召回策略
停止算子作业 功能介绍 该接口用于停止正在计算中的作业。 URI DELETE /v1/{project_id}/terminate-job/{job_id} 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号
提交实时流近线作业 功能介绍 该接口用于提交实时流作业并进行近线计算。 URI POST /v1/{project_id}/nearline-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
提交过滤作业 功能介绍 该接口用于提交过滤作业并进行离线计算。 URI POST /v1/{project_id}/filter-job 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
提交数据质量作业API 功能介绍 该接口用于提交数据质量作业并进行离线计算。 URI POST /v1/{project_id}/data-quality 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用
获取访问密钥(AK/SK) 由于使用RES时,上传数据、进行计算等需要依赖其他服务,若没有添加访问密钥则无法使用其他服务。 获取访问密钥 登录华为云,在页面右上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的帐户名下方,单击“我的凭证”,进入“我的凭证”页面。
获取访问密钥并添加RES全局配置 由于使用RES时,用户上传数据、进行离线计算等需要依赖其他服务,如果没有添加访问密钥则无法使用其他服务。因此,在使用RES前,您需要获取访问密钥并在RES管理控制台完成添加访问密钥的配置。 获取访问密钥 登录华为云,鼠标移动至页面右上方用户名,在下拉列表中选择“账号中心”。如图1所示。
设置特征对的用户特征名、物品特征名和权重。 最近邻域数 机器学习中的概念, 例如协同过滤计算中,需要计算物品之间,用户之间的相似度。最近邻域数是x,就是一个物品/用户找出x个和他相似的物品/用户。默认为100。 最大推荐结果数 最多生成多少个推荐结果。默认为100。 开启调度 开
的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求
您可以对处于“启动中”、“计算中”状态的作业进行“终止”操作,“计算成功”和“计算失败”状态的作业无法终止。 登录RES管理控制台,在左侧菜单栏中选择“离线作业”下的目标推荐作业,进入作业列表。 在作业列表页面,您可以单击目标作业“操作”列的“终止”结束离线作业的启动或计算。 重新执行离线作业
从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
Service,简称OBS)进行数据源的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户类数据,物品类数据,行为数据以及推荐候选列表。 人工推荐策略的候选集(可选):您
“场景”信息可选择您在全局配置页面创建的场景。 根据表1设置计算引擎和存储平台相关参数,并根据业务需要在“增加历史行为过滤”,如图2所示。 图2 创建过滤规则 表1 过滤规则参数说明 参数名称 说明 计算引擎 服务名,计算引擎DLI用于推荐系统的离线计算和近线计算。 集群名称,选择“资源中心”绑定的DLI集群名称。
离线作业简介 RES提供了离线作业训练的功能,方便您根据业务需求查看作业结果并不断调整您的作业参数。您还可以基于离线作业得到的推荐候选集,用于在线服务计算得到推荐结果。RES提供了多种推荐离线作业功能,您可以直接使用得到满意的推荐候选集。 用户通过数据质量作业对离线数据进行质量检测,然后将检
选出需要的属性。只能选择进行用户分组还是物品分组,分组内可配置多个特征。默认关闭。 “最大推荐数结果数”:指定召回的结果数量。 “开启时间跨度”:不开启取全部数据,开启则指定从数据源中取最近天数或小时数的行为数据计算相似度。默认关闭。 “开启调度”:开启调度,按照指定的调度策略定期执行作业。默认关闭。
可传入不同类型的标签信息(如人工标签,关键词标签等)。 此标签体系需与物品标签体系相同。如果无历史兴趣标签,则无需传入此字段。推荐系统将会根据特定行为匹配的标签进行计算并完成更新。 说明: 传入TAGS字段会直接覆盖原程序中已计算出的兴趣标签权重。 否 CONTEXT Json 用户上下文