检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量 数据质量检测算子,是用户在进行离线计算之前使用原始初始格式数据(离线数据源中的离线数据)或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下:
数据源 RES的离线数据源包括什么? 如何上传数据至OBS 如何上传实时数据? 离线数据和近线实时数据如何配合使用? 数据探索是什么?近线实时数据如何在数据探索中的报告体现? 如何确定近线数据源导入实时数据成功? 实时数据能否立即应用到推荐场景?
基于行为数据的用户画像更新生成,热度越大排序越靠前。 时间排序:根据时间对候选集进行排序。时间排序需要指定特征名称和推荐天数。 特征名称:值为时间戳(10位)的特征的名称,任务会根据此特征对候选集进行排序。 推荐天数:推荐数据的时间段,该时间段从当前开始往前推N天,默认15天。 默认热度排序。
数据。操作必须确保流程中没有使用该作业产生的UUID,可以参考以下操作完成。 删除离线作业 您可以对“计算成功”、“计算失败”等状态的作业进行删除,“启动中”、“计算中”状态的作业不支持删除操作。 登录RES管理控制台。在左侧菜单栏中选择“离线作业”下的目标推荐作业,进入作业列表。
创建工作空间 前提条件 使用RES工作空间您需要具备如下权限: 请确保您已开通RES并完成密钥认证。 已经开通相关资源并进行全局配置。 创建工作空间 登录RES管理控制台。 您可以通过两种方式创建工作空间,进入“创建工作空间”页面,填写工作空间参数信息。详请参见表1。 在左侧导航
的对话框中进行确认。 物品画像实时导入 通过SDK导通道中存储的物品画像实时数据。在“物品画像实时导入”右侧,单击打开按钮,在弹出的对话框中进行确认。 行为数据实时导入 通过SDK导入通道中存储的行为数据。在“行为数据实时导入”右侧,单击打开按钮,在弹出的对话框中进行确认。 说明:
建的数据源进行的。 上传实时数据 RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。 数据质量管理 数据质量管理操作可以将数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。 修改或删除数据源 对您已经创建的数据源进行修改,对不需要的数据源进行删除。 父主题:
则无法调用接口。 获取访问秘钥并添加RES全局配置 属性配置 以键值对的方式进行存储,配置后的配置项可以用于整个服务。 管理属性配置 计算资源 计算资源包括DLI服务,添加的计算资源需根据业务数据情况进行合理分配。 管理计算资源 父主题: 全局配置
源详情页面。 在“执行步骤”页签,单击“数据结构”下的“开始识别”,进入“识别”页面,确认页面信息后单击“是”进行特征抽取。 当执行完成“识别”状态为“已完成”时,进行“人工复核”确认操作。 在“特征抽取”页签确认识别出的数据信息。 如果复核抽取的数据信息无误,单击“确认”,在“
数据导入 数据导入介绍 数据导入即读取经过“数据结构”生成的数据,对每条数据进行校验。推荐系统保留字段需校验类型和数据合法性、自定义字段校验类型,输出错误报告。如果数据完全符合要求,会生成推荐系统所需要的宽表和画像数据。 宽表:推荐系统内部格式,以行为数据为主,将行为数据中涉及到的用户数据和物品数据整合成一条数据。
等领域。逻辑斯蒂回归算法通过在线性回归的基础上叠加一个sigmoid激活函数将输出值映射到[0,1]之间,是机器学习领域里常用的二分类算法。LR算法参数请参见逻辑斯蒂回归。 因子分解机算法是一种基于矩阵分解的机器学习算法,能够自动进行二阶特征组合、学习特征之间的关系,无需人工经验
记录时,将过滤掉相应物品。 其中排除行为过滤是指将有此行为类型的物品排除掉,不对其进行过滤。 例如,对于用户过去3天内有过曝光行为的物品过滤,但是可以对曝光过但是有购买行为的物品进行排除,不对其进行过滤。 开启调度 开启调度,按照指定的调度策略定期执行作业。 “调度周期”:调度周期可选“天”或“周”。
策略中相同的物品会进行分数累加。权重大小之和要等于1。 过滤(黑名单) 离线过滤 对离线过滤规则作业产生的结果进行过滤,使之不进入候选集。 单击打开按钮,在下拉框中选择目标过滤规则的作业结果。 行为过滤 对用户行为进行过滤使之不进入候选集。 单击打开按钮,进行行为过滤设置。例如对
基础数据表 数据类型 表名 用户类数据 用户属性表 物品类数据 物品属性表 行为类数据 用户操作行为表 用户需要自己手工创建整理这些表并存储到OBS上。 每张表的表结构必须符合推荐系统的要求,列名和字段类型需要和规范中保持一致(参考下面的表结构说明)。 每张表中填充的数据,必须符合推荐引擎的要求。
过滤规则用于配置候选集的过滤方式,使之不进入候选集。对于每个需要过滤的行为,生成用户具有该行为的物品的列表。再对同用户的每种行为的物品列表进行“与”或者“或”的关系,最终生成用户-物品过滤表。 表1 过滤规则参数说明 参数名称 说明 名称 自定义过滤规则名称。由中文、英文、数字、
提交数据质量作业API 功能介绍 该接口用于提交数据质量作业并进行离线计算。 URI POST /v1/{project_id}/data-quality 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用
数据时间范围 被统计数据的起始时间和终止时间。 统计间隔(天) 统计间隔,以天为单位,每隔多少天计算一次指标,大于0。 在线服务 选择已发布的在线服务进行推荐效果指标计算。 结果保存路径 效果评估结果在OBS的文件输出路径。 指标 推荐服务效果评估指标,通过指标后的下拉框选择系统自置指标或自
DataArts Studio>用户指南>数据开发>节点> Rest Client”。 图1 重新执行作业节点配置 使用DLF时,无需进行鉴权。 单击“保存”后,进行“测试运行”。确保功能正常。 在页面右侧,单击“调度配置”,根据需求设置任务的调度周期及其他参数。 在页面作业,选择“运维调
RES支持通过工作空间实现对项目资源隔离。 (可选)创建企业项目 为RES工作空间绑定企业项目,更方便您对项目的资源和用户进行管理。 编辑或删除工作空间 您可以对RES工作空间进行编辑和删除类的管理操作。 编辑工作空间 删除工作空间 父主题: 工作空间
基础问题 什么是RES? 与其他云服务的关系 如何开始使用RES? 获取访问密钥(AK/SK) 推荐作业有哪几种创建方式? 创建的场景是否会立即发布? 最小在线并发规格支持弹性伸缩,是否设置最小规格即可? 是否有样例数据支撑我进一步了解RES? 什么是区域、可用区? API查询列表的接口返回结果是否支持分页?