检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源
/v2.0/{project_id}/workspaces/{workspace_id}/resources/{resource_id}/jobs/{job_id}/schedule-job 表1 路径参数 参数 是否必选 参数类型 描述 job_id 是 String 作业id。 project_id
准备离线数据源 在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数
数据源及其OBS目录。 删除数据源:在“数据源”页面,单击操作列的“删除”。 删除自定义场景作业:在“推荐业务>自定义场景”页面,单击操作列的“删除”。删除自定义场景后,其对应的召回策略和在线服务都将被删除。 删除数据:前往OBS,删除上传的数据,然后删除文件夹及OBS桶。
已注册华为帐号并开通华为云,且在使用RES前检查账号状态,账号不能处于欠费或冻结状态。 已在OBS服务中创建桶和文件夹,用于存放样例数据。确保您使用的OBS目录与RES在同一区域。 步骤1:准备数据 RES在公共OBS桶中提供了猜你喜欢的示例数据集,命名为“test-data”,因此,本文的操作
参数配置完成后可单击“下一步:在线服务”。 在线服务 在“在线服务”页面,填写基本信息。您可以根据实际情况填写“名称”、“描述”信息或“开启异常告警”。单击开启异常告警,在下拉选项中选择SMN主题名称。如果您还未有可选的主题,请前往消息通知服务创建主题。 单击“添加在线流程”,并
选择智能场景列表中的目标场景,单击“操作”列的“删除”。 在“删除场景”页面确认智能场景信息后单击“是”。 删除场景包含删除场景下所有的策略和服务。场景运行存储在OBS中的数据不会被删除,需要您登录OBS进行删除操作。 父主题: 智能场景
数据写入到画像中,同时用于排序训练和线上推理服务中使用。 文件数据信息请参见全局特征信息文件数据格式。 当上传的数据中的特征有变化时,用户需要同步更新该文件。该文件为JSON格式,包含特征名、特征大类、特征值类型。 数据源 数据在OBS的存放路径。 “初始格式”:包括离线数据准备
过滤规则参数说明 参数名称 说明 计算引擎 服务名,计算引擎DLI用于推荐系统的离线计算和近线计算。 集群名称,选择“资源中心”绑定的DLI集群名称。 任务配置地址,在创建作业时, 会自动生成一个JSON格式的配置源文件,该文件存储在指定的OBS路径中,计算引擎可以通过读取配置源文件来进行离线计算。
通过DLF进行作业监控及任务异常重新启动 推荐系统提供了查询作业详情API接口,可返回作业详情。返回体中的作业状态字段“jobs.job_status”表示了当前任务的状态。 重新执行作业的API用来将任务以相同的配置重新执行一次。 通过查询作业详情API和重新执行作业的API可
和日志文件保存在该路径下。 training_data_path:参数类型String,训练数据的obs路径。 test_data_path:参数类型String,测试数据的obs路径。 策略参数说明中排序策略(sorting)各策略参数说明。 表12 filter_rules参数说明
"user_url" : "<OBS path for storing user data>", "item_url" : "<OBS path for storing item data>", "behavior_url" : "<OBS path for storing
获取访问密钥并添加RES全局配置 由于使用RES时,用户上传数据、进行离线计算等需要依赖其他服务,如果没有添加访问密钥则无法使用其他服务。因此,在使用RES前,您需要获取访问密钥并在RES管理控制台完成添加访问密钥的配置。 获取访问密钥 登录华为云,鼠标移动至页面右上方用户名,在
|128GiB”。 训练数据的obs路径 单击选择特征工程排序样本预处理生成的训练数据所在的OBS路径。 即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。 测试数据的obs路径 单击选择特征工程排序样本预处理生成的测试数据所在的OBS路径。 即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。
在使用RES之前,需要获取添加访问密钥,用于授权使用OBS、DLI、Cloudtable、ModelArts等服务,如果没有添加访问密钥,则无法调用接口。 获取访问秘钥并添加RES全局配置 属性配置 以键值对的方式进行存储,配置后的配置项可以用于整个服务。 管理属性配置 计算资源 计算资源包括DLI服务,添加的计算资源需根据业务数据情况进行合理分配。
spec_id 是 Int 训练作业选择的资源规格ID。在使用ModelArts之前需要查询ModelArts服务AK/SK并确保关联AK/SK到ModelArts服务,然后通过查询ModelArts计算节点规格获取spec_id返回的值。 run_path 是 String 训
is_success Boolean 是否成功。 jobs jobs object 作业详情。 message String 返回消息(请求成功时,不返回此字段)。 error_code String 错误码(请求成功时,不返回此字段)。 表5 jobs 参数 参数类型 描述 category
您可以对离线数据源进行重新编辑操作来更新数据源,如果该数据源不再使用,您可以删除数据源释放资源。 修改离线数据源 前提条件 已存在的离线数据源有修改或者更新并已经上传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。 注意事项 修改编辑之后的离线数据源需要重新进行数据结构抽取和检测、探索等操作。
"user_url" : "<OBS path for storing user data>", "item_url" : "<OBS path for storing item data>", "behavior_url" : "<OBS path for storing
n内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability