华为云用户手册

  • 实时物品日志 实时物品日志用于在实时流中对物品画像表进行写入。 表3 物品实时日志字段描述 字段名 类型 描述 是否必选 itemId String 全局唯一物品ID。 是 BASICINFO Json 物品基本属性值。其中字段的值只能是数值型,字符串或字符串数组。 否 TAGS Json 物品标签。其中字段的值只能是Map类型。 可传入不同类型的标签信息(如人工标签,关键词标签等)。 说明: 如果此字段为空,则RES无法根据行为计算用户的兴趣标签。 否 表4 物品实时日志示例表 itemId BASICINFO TAGS item123 weight brand price artificialLabel keywordLabel 12 "male" 333 {"tag1":0.84,"tag2":0.22,"tag3":0.88} {"tag4":0.22,"tag5":0.99}
  • 实时用户日志 实时用户日志用于在实时流中对用户画像表进行写入。 表2 用户实时日志字段描述 字段名 类型 描述 是否必选 userId String 全局唯一用户ID。 是 BASICINFO Json 用户基本属性值。其中字段的值只能是数值型,字符串或字符串数组。 否 TAGS Json 用户的兴趣标签。其中字段的值只能是Map类型。 可传入不同类型的标签信息(如人工标签,关键词标签等)。 此标签体系需与物品标签体系相同。如果无历史兴趣标签,则无需传入此字段。推荐系统将会根据特定行为匹配的标签进行计算并完成更新。 说明: 传入TAGS字段会直接覆盖原程序中已计算出的兴趣标签权重。 否 CONTEXT Json 用户上下文信息。其中字段的值只能是数值型,字符串或字符串数组。 否
  • 实时物品日志示例 { "itemId":"item123", "BASICINFO":{ "weight":12, "brand":"male", "price":333 }, "TAGS":{ "artificialLabel":{ "tag1":0.84, "tag2":0.22, "tag3":0.88 }, "keywordLabel":{ "tag4":0.22, "tag5":0.99 } } }
  • 实时行为日志 实时行为日志的作用包括: 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名 类型 描述 是否必选 userId String 用户ID。 是 objectType String 发生行为对象的类型, item是用户和商品本身发生的行为。 是 actionObject String 对应行为发生的对象的值,如果是和商品发生关系:则是商品的id(itemId)的值。 是 actionType String 行为类型: 物品曝光 用户点击物品 用户收藏了某个物品 用户取消收藏某个物品 用户点击搜索结果中的物品 用户对物品的评论 分享 点赞 点衰 评分 消费 观看视频/听音乐/阅读 是 actionMeasure String 发生行为的度量,金额,评分,次数(整数)等。 默认值: 评分和观看视频/听音乐/阅读可由用户根据实际情况自行定义,如观看两分钟,值为 “1.5”,观看5分钟,值为“1.8”。 其余行为的默认值为1.0。 是 actionContent String 发生行为为评论时,需要记录评论内容。 行为为搜索时,需要记录搜索的关键字。 否 actionDateTime String 行为发生的时间,采用UTC标准时间,单位以秒计。 否 actionLocation String 行为发生的位置,精度维度格式:[latitude, longitude]。 否 context Json 动作发生的上下文信息,内容为json对象,也可作为行为表的扩展字段。例如,用户当前的设备id,ip地址等信息。 否 subSite String 行为发生的位置ID,比如,在首页推荐里面点击,在详情页里面浏览。 否 traceId String 用于追踪每个被推荐物品的唯一ID。用于推荐效果的计算。 否 flowId String 用于计算每一个在线服务的效果。flowId由推荐系统的API返回给用户,用户需把flowId写到用户行为日志中。 否
  • 操作步骤 登录RES管理控制台,在左侧导航栏选择进入“在线服务”页面。 在页面上方单击“创建”进入“创建在线服务”,在页面填写相关参数。 填写基本信息并选择服务类型。您可以根据实际情况填写“名称”、“场景”和“描述”信息。其中“场景”信息可选择您在全局配置页面创建的场景。 图1 基本信息 根据业务需求选择服务类型。包括“推荐引擎”、“排序”和“文本标签”。 单击“添加在线流程”,并进行命名,您最多可以部署5个在线流程。根据选择的服务类型配置在线流程,包括融合、过滤、排序和模型及配置等关键信息。具体参数信息参见表1。服务类型选择推荐引擎。 图2 创建在线服务 表1 创建在线服务参数说明 参数名称 子参数 说明 融合 “推荐结果设置” “添加推荐候选集”(选择离线或近线任务所生成的推荐候选集进行排序) 任务别名和UUID:单击操作列表的“选择”添加离线或近线的任务名称和候选集ID。 优先级:优先级高的推荐结果将确保展示在优先级低的之前。 同优先级数据占比:优先级相同的推荐候选集,该占比展示推荐数量,同优先级下的数据占比之和需要等于100%。 “添加在线候选集”(根据设置的参数在线进行召回,必须添加全局特征信息文件才可设置参数) 任务别名和UUID:分别默认为“在线候选集召回”和“online-recall”,无需改动。 优先级、同优先级数据占比:同添加推荐候选集。 设置参数:单击操作列的“设置参数”进行召回策略参数的配置。根据业务需求选择召回类型为物品或者用户,配置在线召回特征。在线召回的特征属性来自于公共配置的全局特征信息文件。 可单击“添加推荐候选集、添加在线候选集”配置多个候选集,作为当前在线流程的排序候选集。 说明: 在线候选集的延迟较推荐候选集较高,如无特殊需求,建议选择推荐候选集。 容错 容错用于数据请求异常时的固定人工输出召回集。需要在离线作业创建召回策略进行人工策略的计算。单击“选择”获取人工导入策略的任务别名和UUID。 离线过滤 过滤 过滤数据来源于过滤规则产生的候选集,单击“选择”获取过滤的任务别名和UUID。 在线过滤 【去重】物品属性 属性名从画像算子生成,如“product_color”,则对产品颜色相同的物品进行去重。 【去重】忽略长度 截断物品ID末尾指定长度后的字符串进行去重,如指定长度为2,则SKU_A1234和SKU_A1244只会保留其中一个。 属性过滤规则 指定定制化用户属性以及物品属性过滤规则,属性过滤规则用于过滤最终用户的推荐结果。例如,对于一线城市的用户过滤敏感信息物品,使之不进入候选集。单击增加属性过滤规则。 用户属性:指定在用户属性中需要过滤的字段,包含属性名和属性值。来源于画像数据,即特征工程中初始用户画像-物品画像-标准宽表生成算子作业输出的数据,用户属性来自于公共配置的全局特征信息文件。如过滤籍贯是广东且性别为男性的用户。 物品属性:指定在物品属性中需要过滤的字段,包含属性名和属性值。来源于画像数据,即特征工程中初始用户画像-物品画像-标准宽表生成算子作业输出的数据,物品属性的名称来自于公共配置的全局特征信息文件。如过滤产品颜色为红色且产品品牌为华为的物品。 排序方式 “点击率预估” 特征工程:排序数据来源于排序算子作业产生的候选集。单击“选择”获取排序策略的任务别名和UUID。 模型文件路径:排序策略生成的模型存储路径。 “属性权重” 属性权重:输入属性,权重默认1.0 。也可单击“增加属性权重”。 公共配置 “全局特征信息文件” 为json格式文件。指定在去重过滤即属性过滤中物品属性和用户属性的特征信息文件,如物品属性需要“feature_name”、“feature_type”、“feature_value_type”字段来表示特征名,特征类型以及特征值类型。需预先存储在OBS中。 “画像” 画像为特征工程中初始用户画像-物品画像-标准宽表生成算子的结果。且此画像会用于去重过滤、属性过滤以及排序的计算中。单击“选择”获取特征工程作业产生的UUID。 模型及配置 - 设置模型名称、模型版本、计算节点规格、计算节点个数和分流(%)。 模型名称和模型版本选择调用API接口的模型名称和模型版本。“计算节点规格”默认2核|8GiB,“计算节点个数”默认为2,“分流”之和必须是100%。 完成该项配置后,单击“下一步”进入规格确认页面,核对无误后,单击“完成”。当您通过在线服务列表查看在线服务的状态由“初始化”、“部署中”变更为“运行中”时即完成在线服务的部署。在线服务一般需要运行一段时间,根据您的数据量和资源不同,运行时间将耗时几分钟到几十分钟不等,请您耐心等待。
  • 删除离线作业 您可以对“计算成功”、“计算失败”等状态的作业进行删除,“启动中”、“计算中”状态的作业不支持删除操作。 登录RES管理控制台。在左侧菜单栏中选择“离线作业”下的目标推荐作业,进入作业列表。 在作业列表页面,您可以单击目标作业“操作”列的“删除”。 在删除页面,您可以直接单击“是”只删除该作业。也可以勾选下方的“同时删除作业产生的CloudTable数据”,选择该作业对应的数据进行离线删除。 图1 删除作业 离线作业删除后,将不可恢复,请谨慎操作。
  • 召回策略 您可以根据业务需要,选择合适的召回策略。召回策略用于配置离线计算逻辑,通过启动离线计算任务进行候选推荐结果集的生成。 各个召回策略的详细参数设置和输入输出请单击下方链接查看。 基于特定行为热度推荐 基于综合行为热度推荐 基于物品的协同过滤推荐 基于用户的协同过滤推荐 基于交替最小二乘的矩阵分解推荐 业务规则-基于历史行为记忆生成候选集 业务规则-人工导入 基于属性匹配的召回策略 配置召回策略操作步骤如下: 在“创建组合作业”页面,配置完资源选择参数之后,进入“召回策略”页签,单击“添加召回策略”,根据业务需要在下拉框中选择一个合适的策略,如图2所示。 图2 召回策略 (可选)在目标召回策略右侧,单击“查看输入输出”,可以查看输入数据和输出数据。 (可选)在目标召回策略右侧,单击“设置参数”,可以对所选策略进行参数设置。 具体策略的参数说明可单击上方策略名称进行查看,策略设置完成后,单击“下一步”。
  • 排序策略 排序策略是用于对召回策略生成的候选集进行二次排序。如果使用排序策略,需在特征工程中提交排序样本预处理,创建完成后才可以正常使用排序策略。 各个策略的详细参数设置和输入输出请单击下方链接查看。 逻辑斯蒂回归-LR 因子分解机-FM 域感知因子分解机-FFM 深度网络因子分解机-DeepFM 核函数特征交互神经网络-PIN 在“创建组合作业”页面,配置完过滤规则参数之后,进入“排序策略”页签,如图3所示。用户可以根据业务需要在“添加排序策略”下拉框中选择一个合适的排序策略,请参见排序策略对所选排序策略进行参数设置。 图3 排序策略 (可选)在目标排序策略,单击“删除”,可以删除对应排序策略。 具体策略的参数说明可单击上方策略名称进行查看,策略设置完成之后,单击“下一步”进入“预览设置”页面。
  • 预览配置 在“预览设置”页面,展示了创建作业的名称、资源信息、召回策略信息、过滤规则和排序规则详细信息。 预览结束后,单击“完成”,组合作业创建完成。作业一般需要运行一段时间,根据您的数据量和资源不同,训练时间将耗时几分钟到几十分钟不等。 您可以前往组合作业列表,查看作业的基本情况。在组合作业列表中,刚创建的离线作业“状态”为“计算中”,当离线作业的“状态”变为“计算成功”时,表示作业运行结束,生成的候选集ID将使用于在线服务,为用户生成推荐列表。当离线作业的“状态”变为“计算失败”时,您可以单击作业的名称,进入详情页面,通过查看日志等手段处理问题。
  • 资源选择 您在使用RES时需要选择计算引擎、存储平台和数据源。计算引擎对数据进行计算,存储平台将处理的数据进行存储。其选择的服务资源即为“资源中心”绑定的资源。 在RES管理控制台完成“基本配置”之后,进入“资源选择”页签。 填写组合作业相关配置参数,请参见表1。 表1 创建组合作业参数说明 模块 参数名称 说明 计算引擎 服务名 计算引擎用于推荐系统的离线计算和近线计算。默认 DLI 。 集群名称 选择“资源中心”绑定的DLI集群名称。 任务配置地址 在创建作业时, 会自动生成一个JSON格式的配置源文件,该文件存储在指定的OBS路径中,计算引擎可以通过读取配置源文件来进行离线计算。 资源名 指定DLI运行作业的资源规格。 可选择“全局配置”添加的计算资源或默认值。 存储平台 服务名称 CloudTable作为存储平台,用于用户推荐在线数据和推荐候选集的存储。此处选择已经完成资源绑定的CloudTable。 集群名称 选择“资源中心”绑定的CloudTable集群名称。 表名 存储的表格名称。 您可以单击设置数据版本。RES的数据版本有两种,“V1”版本即数据按照原有格式存储,未做过分区处理。“V2”版本则会依照用户的分区设置做分区处理,当分区合理时,数据将均匀分布在各个节点,有效利用Cloudtable的高并发特性,提升读写效率。其中“预分区数量”和“索引分区数量”可以根据数据量进行设置,如果读写性能达不到要求,可以增加Cloudtable的RS单元数量提升性能。 数据源 初始格式 选择提前已经存储在OBS上的如下数据源: 用户属性表 物品属性表 用户操作行为表 如上数据表的数据格式规范请参见离线数据源。 在对应表的“数据源”列中,单击选择数据的OBS存储路径。 在对应表的“数据格式”列中,数据格式可选:csv/json。 当选择数据格式为csv时,在弹框中设置数据参数,具体参数如下: 表头,有或无,根据用户数据格式选取。 分隔符,选择逗号(,)、竖线(|)、制表符(\t)和自定义。 引用字符,单引号(')、双引号(")和自定义。 转义字符,反斜杠(\)和自定义。 在对应表的“操作”列中,单击“清除数据”可以删除对应表的数据源。 通用格式 通用数据由特征工程“初始用户画像-物品画像-标准宽表生成”算子生成。其路径与“初始用户画像-物品画像-标准宽表生成”结果保存路径一致。 说明: 在使用通用格式数据之前,需要先进行特征工程算子计算。 通用格式数据:从用户属性表、物品属性表和用户操作行为表中提取用户、物品特征和用户行为,并生成JSON数据,即内部通用格式。 通用格式时间:用户行为数据时间范围,可只有起始时间、结束时间或为空。 完成该项配置后,单击“下一步”。
  • 基本配置 基本配置主要包括设置组合作业的名称和描述。 登录RES管理控制台,在左侧导航栏的“离线作业”下,单击“组合作业”进入组合作业页面。 在“组合作业”页面上方,单击“创建”,进入“创建组合作业”页面。 填写“名称”、“场景”和“描述”,其中带*标志的参数为必填参数。 组合作业名称请以“Standard-”开始,只能由字母、数字、中划线和下划线组成,并且长度小于64个字符。 “场景”信息可选择您在全局配置页面创建的场景。 完成该项配置后,单击“下一步”。
  • 步骤1:准备数据 RES在公共OBS桶中提供了猜你喜欢的示例数据集,命名为“test-data”,因此,本文的操作示例使用此数据集进行构建。您需要执行如下操作,将数据集上传至您的OBS目录下,即准备工作中您创建的OBS目录。 单击下载样例数据,将“test-data”数据集下载至本地。 在本地,将“test-data”压缩包解压。例如,解压至本地“test-data”文件夹下。 在“test-data”文件夹下,将behavior.txt中的每条数据的actionTime字段的值修改到当前时间附近。将item.txt中的每条数据的publishTime字段的值修改到当前时间附近,将item.txt中的每条数据的expireTime字段的值修改成大于当前时间的值,避免数据因为过期被过滤掉。 查询当前时间戳,网址https://tool.lu/timestamp。 图1 查询当前时间戳 将behavior.txt中的每条数据的actionTime字段的值修改到当前时间附近。 图2 修改behavior.txt文件 将item.txt中的每条数据的publishTime字段的值修改到当前时间附近,将item.txt中的每条数据的expireTime字段的值修改成大于当前时间的值。 图3 修改item.txt文件 将“test-data”文件夹下的所有文件上传至准备工作中您创建的OBS路径下。
  • 步骤1:准备数据 RES在公共OBS桶中提供了猜你喜欢的示例数据集,命名为“test-data”,因此,本文的操作示例使用此数据集进行构建。您需要执行如下操作,将数据集上传至您的OBS目录下,即准备工作中您创建的OBS目录。 单击下载样例数据,将“test-data”数据集下载至本地。 在本地,将“test-data”压缩包解压。例如,解压至本地“test-data”文件夹下。 在“test-data”文件夹下,将behavior.txt中的每条数据的actionTime字段的值修改到当前时间附近。将item.txt中的每条数据的publishTime字段的值修改到当前时间附近,将item.txt中的每条数据的expireTime字段的值修改成大于当前时间的值,避免数据因为过期被过滤掉。 查询当前时间戳,网址https://tool.lu/timestamp。 图1 查询当前时间戳 将behavior.txt中的每条数据的actionTime字段的值修改到当前时间附近。 图2 修改behavior.txt文件 将item.txt中的每条数据的publishTime字段的值修改到当前时间附近,将item.txt中的每条数据的expireTime字段的值修改成大于当前时间的值。 图3 修改item.txt文件 将“test-data”文件夹下的所有文件上传至准备工作中您创建的OBS路径下。
  • 步骤5:获取预测结果 在线服务发布执行成功后,您可以进入在线服务,发起预测请求进行测试。 在“自定义场景”列表页面,单击目标场景名称,进入“自定义场景详情”页面。 单击“预测”页签,进入预测页面。 预测方式选择“代码”,在“预测代码”部分输入预测代码。单击“预测”,右侧出现排序后的预测结果。 由于此处是测试服务,为保证测试效果,此处选用测试数据中的用户ID进行预测,建议为user894。 图9 预测结果 预测代码 { "id":"user894", "rec_num": 10 } 预测结果 { "flow_id": "hot-flow", "rec_num": 10, "candidates": [ { "id": "item332", "score": 1, "source": "hot-recall-DIREC" }, { "id": "item709", "score": 0.995, "source": "hot-recall-DIREC" }, { "id": "item338", "score": 0.99, "source": "hot-recall-DIREC" }, { "id": "item960", "score": 0.98499995, "source": "hot-recall-DIREC" }, { "id": "item469", "score": 0.97999996, "source": "hot-recall-DIREC" }, { "id": "item236", "score": 0.97499996, "source": "hot-recall-DIREC" } ] }
  • 计费模式 RES目前提供按需、预付套餐包共2种计费方式。 按需购买:这种购买方式比较灵活,可以即开即停。 预付套餐包:客户预先购买一定的资源使用量配额,在按需使用过程中,系统优先扣减配额,超出配额的使用量才需要额外根据按需费用付费。购买的预付套餐包为在有效期内单位规格的计算时长。例如,您购买了计算型CPU(1U4G)实例20000小时,指单位规格1CU运行20000小时。如果在数据源或者场景中配置计算规格为4CU的话,则可以运行5000小时。同理,存储资源和在线服务也是这种模式。套餐包的有效期为一年,如果在一年内没用完相应的资源,系统会自动清除剩余的资源配额。
  • RES权限 默认情况下,管理员创建的 IAM 用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得策略定义的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 RES部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问RES时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对E CS 服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,RES支持的API授权项请参见《权限策略和授权项》。 如表1所示,包括了RES的所有系统权限。 表1 RES系统策略 系统策略名称 描述 类别 RES FullAccess 推荐系统服务管理员权限,拥有该权限的用户可以操作并使用所有推荐系统服务。 系统策略 RES ReadOnlyAccess 推荐系统服务只读权限,拥有该权限的用户仅能查看推荐系统服务数据。 系统策略 RES常用操作与系统策略的授权关系如表2所示,您可以参照该表选择合适的系统策略。 表2 常用操作与系统策略的关系 操作 RES FullAccess RES ReadOnlyAccess 新增工作空间 √ x 查询工作空间详情 √ √ 查询工作空间列表 √ √ 修改工作空间 √ x 删除工作空间 √ x 新增数据源 √ x 查询数据源详情 √ √ 查询数据源列表 √ √ 修改数据源 √ x 删除数据源 √ x 新增场景 √ x 查询场景 √ √ 查询场景列表 √ √ 修改场景 √ x 删除场景 √ x 运行场景 √ x 新增作业 √ x 查询作业详情 √ √ 查询作业列表 √ √ 修改作业算子 √ x 删除作业 √ x 运行作业 √ x
  • 与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖 探索(Data Lake Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage Service,简称OBS)存储RES的推荐数据源,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务文档》。 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)提供推荐数据源的实时日志。DIS的更多信息请参见《数据接入服务文档》。 统一身份认证 服务 统一身份认证服务(Identity and Access Management,简称IAM)为RES提供了华为云统一入口鉴权功能和OBS与DIS的委托授权。IAM的更多信息请参见《统一身份认证服务文档》。 ModelArts ModelArts是面向AI开发者的一站式开发平台,排序策略使用Modelarts的深度学习计算能力训练得到排序模型。ModelArts的更多信息请参见《ModelArts服务文档》。
  • 配额说明 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 表1 RES服务配额 资源 限制条件 建议 推荐引擎预测接口中最多请求结果数量 20 可提工单支持更高规格。 单份画像数据中最多支持的特征数量 30 单场景在线服务最多支持每秒请求的次数(TPS) 200 数据源个数 5 场景个数 10 单场景下推荐预测返回的结果集个数 20 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。配额查看及修改请参见关于配额。
  • RES+媒资应用场景 场景描述 媒资推荐场景中,通常对实时性要求比较高,用户产生的行为需要得到即时的反馈,同时结合用户的长期兴趣和短期兴趣进行个性化推荐。 RES提供一站式媒资推荐解决方案,支持针对行为数据实时生成用户的兴趣标签,提供离线、近线、在线三层计算,完成千人千面的个性化媒资推荐。 场景优势 可以实现7*24小时,智能学习用户行为,构建兴趣模型。 兴趣文章命中率高,用户粘性增强,PV增幅明显。 减少人工运营规则的摄入,减低人力成本。 全流程自动化,批/流训练结合,稳定可靠。 图2 RES媒资推荐
  • RES+电商应用场景 场景描述 电商场景中,通常涉及首页推荐、购物车推荐、买了又买等推荐场景,但各个子场景的运营规则均不一致。 RES提供一站式电商推荐解决方案,在一套数据源下,支持多种电商推荐场景,提供面向电商推荐场景的多种推荐相关算法和大数据统计分析能力。 场景优势 能够精确匹配电商运营规则。 最近邻算法与深度学习的结合,挖掘用户高维稀疏特征,匹配最佳推荐结果。 融合多种召回策略,网状匹配兴趣标签。 改善用户体验,同时降低人工成本。 画像与深度模型结合,助力营收收益增长。 图1 RES电商推荐
  • 智能场景 根据业务场景选择对应的智能推荐场景,快速搭建专属推荐系统。主要应用为猜你喜欢、关联推荐、热门推荐。 功能优势: 多维度管理,支持运营规则设置,一站式推荐平台。 自动挖掘特征,采用AUTOML完成特征的自动挖掘和组合,提高特征选择效率。 高适用性,多种模板选择,适用多个应用场景。 使用便捷,一键式构建推荐系统,提供标准API接口,调用简单,便于被集成。 实时更新,具备实时更新能力,更快反馈用户的精准需求。 降低成本,减少人力支出投入。
  • 自定义场景 基于用户历史行为计算物品相似性,实时更新候选列表,提升用户体验,提高转化率支持多种召回、过滤、排序算子自由组合,训练形式上支持离线批处理、近线流处理、在线实时处理的三种数据处理方式,提供完备的一站式推荐平台,可快速设置运营规则进行AB测试。 功能优势: 全开放推荐流程,用户根据业务自定义推荐流程。 特征工程,特征处理多样化,支持自定义特征散列等。 丰富的推荐策略,提供丰富的召回、过滤、排序算子。 运营助手,支持多维度运营,根据业务情况及时调整推荐结果。 效果评估,实时效果评估,推荐指标图表展示。
  • RES优势 开放式推荐 提供完整的推荐平台和原子推荐算法,不绑定客户的运营场景,客户可以在华为云上根据自己对推荐算法和运营规则的理解,自定义专属的推荐流程。当前只有华为云提供开放式推荐能力,其他友商主打场景式推荐。 场景式推荐 提供多维度的场景推荐,含猜你喜欢、关联推荐、热门推荐,一键式操作,降低客户接入门槛。 近线处理能力 支持实时数据的接入和更新、模型在线学习,近线处理实时训练兴趣模型。 全面的推荐实体 支持以用户推荐物品、以用户推荐用户、以物品推荐物品、以物品推荐用户四种全面的推荐对象,用户根据场景选择不同的推荐实体。 独立的排序模块 独立的基于CTR预估的排序打分模块,支持个性化排序能力。
  • 数据源如何收费? 数据源的收费包括三项。 “OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据均需要选取训练规格,根据训练规格大小进行计费。 如果需要数据源停止计费,请先终止近线数据源的导入,删除对应数据源和对应OBS中的数据存储。 父主题: 计费相关
  • 什么是区域、可用区? 使用用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
  • 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。 “拉美-圣地亚哥”区域位于智利。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
  • 如何开始使用RES? 使用RES,从资源准备到在线服务完成推荐的全流程,如图1所示。 图1 RES操作流程 表1 使用流程说明 流程 子任务 说明 详细指导 数据源 准备离线数据源 需要您准备包含用户数据,物品数据,行为数据上传至对象存储服务(OBS)用于推荐系统的离线计算。 准备离线数据源 上传离线数据源至OBS 创建离线数据源 在使用RES之前,首先您需要创建一个数据源,后续的操作都是基于您创建的数据源进行的。 创建离线数据源 上传实时数据(可选) RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。 上传实时数据 数据质量管理 数据质量管理操作可以将数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。 数据质量管理 选择并配置推荐业务 智能场景 针对对应的场景,由RES根据场景类型预置好对应的智能算法,为匹配的场景提供智能推荐服务。 智能场景简介 自定义场景 面向了解推荐算法等相关的用户,可自定义推荐中涉及算法的使用和组合,能够自定义开发推荐流程,提供推荐服务。 自定义场景简介 获取推荐结果 - 您可以通过管理控制台进行结果预测,也可以通过API接口获取最终的推荐结果。 智能场景 获取推荐结果 自定义场景 获取推荐结果 效果评估(可选) - 创建效果评估可以对服务设置指标,查看推荐结果的具体衡量指标。 智能场景 效果评估 自定义场景 效果评估 父主题: 基础问题
  • 与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索(Data Lake Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务(Object Storage Service,简称OBS)存储RES的推荐数据源,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务文档》。 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)提供推荐数据源的实时日志。DIS的更多信息请参见《数据接入服务文档》。 统一身份认证服务 统一身份认证服务(Identity and Access Management,简称IAM)为RES提供了华为云统一入口鉴权功能和OBS与DIS的委托授权。IAM的更多信息请参见《统一身份认证服务文档》。 ModelArts ModelArts是面向AI开发者的一站式开发平台,排序策略使用Modelarts的深度学习计算能力训练得到排序模型。ModelArts的更多信息请参见《ModelArts服务文档》。 父主题: 基础问题
  • Step3:基础权限开通 基础权限开通需要登录管理员账号,为子用户账号开通Server功能所需的基础权限(ModelArts FullAccess/BMS FullAccess/ECS FullAccess/VPC FullAccess/VPC Administrator/VPCEndpoint Administrator)。 登录统一身份认证服务管理控制台。 单击目录左侧“用户组”,然后在页面右上角单击“创建用户组”。 填写“用户组名称”并单击“确定”。 在操作列单击“用户组管理”,将需要配置权限的用户加入用户组中。 单击用户组名称,进入用户组详情页。 在权限管理页签下,单击“授权”。 图1 “配置权限” 在搜索栏输入“ModelArts FullAccess”,并勾选“ModelArts FullAccess”。 图2 ModelArts FullAccess 以相同的方式,依次添加:BMS FullAccess、ECS FullAccess、VPC FullAccess、VPC Administrator、VPCEndpoint Administrator。(Server Administrator、DNS Administrator为依赖策略,会自动被勾选)。 图3 基础权限 作用范围选择“区域级项目”,在下拉框中选择“所有资源 (包括未来在所有区域下创建的项目)”。 图4 作用范围 单击“确认”,完成基础权限开通。
  • 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和IAM用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域 指云资源所在的物理位置,同一区域内可用区间内网互通,不同区域间内网不互通。通过在不同地区创建云资源,可以将应用程序设计的更接近特定客户的要求,或满足不同地区的法律或其他要求。 可用区 一个可用区(AZ)是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 同样在我的凭证下,您可以查看项目ID。 图1 项目隔离模型 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。 关于企业项目ID的获取及企业项目特性的详细信息,请参见《企业管理服务用户指南》。 父主题: 使用前必读
共100000条