检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图4 设置OBS参数 选择“直播”,输入直播推流URL,如图5所示。 推流地址分两部分输入“服务器”和“推流码”中。直播推流URL规则请参见查看推流URL。 “服务器”填写包含直播推流URL中AppName前的地址。
以物品ID的形式在OBS上存储。 操作步骤 登录OBS管理控制台,创建OBS桶。例如,创建名称为“obs-res”的OBS桶。 创建桶的区域需要与RES所在的区域一致。例如:当前RES在华北-北京一区域,在对象存储服务创建桶时,请选择华北-北京一。 通过OBS创建用于存放数据的文件夹
如何上传数据至OBS 使用RES进行推荐时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时,需保证您的OBS桶与RES在同一个区域。
推荐系统OBS文件夹规范 使用推荐系统时,需要在OBS创建桶并导入离线数据,同时作业所产生的数据也会保存在OBS中。为了方便您快速定位文件路径,建议您按照如下结构准备数据创建文件夹,并上传至OBS桶。 OBS文件夹示例 自定义OBS桶名 │ obs-offline-data
上传离线数据源至OBS RES使用对象存储服务(Object Storage Service,简称OBS)进行数据源的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户
训练作业如何调用shell脚本,是否可以执行.sh文件? ModelArts支持调用shell脚本,可以使用python调用“.sh”。具体操作步骤如下: 上传“.sh”脚本至OBS桶,例如“.sh”所在存储位置为 “ /bucket-name/code/test.sh”。
OBS的策略的详细配置方法请参见配置对象策略和桶策略参数说明。 在CCE创建节点池时配置安装前执行脚本和安装后执行脚本。 在创建节点池的云服务器高级配置中填写如下命令。
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。
脚本是内聚的,相当于生产积木的,并且脚本可以对这个积木实现批量化处理的复杂场景。 服务编排是图形化,组合编排业务,相当于使用积木编排业务的流程(建议不超过20个图元)。 参见使用SQL查询数据操作一条SQL查询语句,可以看出脚本更直观代码化,服务编排更流程图形化。
/v2.0/{project_id}/workspaces/{workspace_id}/resources/{resource_id}/jobs/{job_id}/schedule-job 表1 路径参数 参数 是否必选 参数类型 描述 job_id 是 String 作业id。 project_id
如修改数据源、创建自定义推荐,都是基于您创建的数据源进行的。 前提条件 已创建用于存储数据的OBS桶及文件夹,并且数据存储的OBS桶与RES在同一区域。 需要使用的数据已上传至OBS。 创建数据源 登录RES管理控制台,在左侧菜单栏中选择“数据源”,进入“数据源”列表页面。 单
通过DLF进行作业监控及任务异常重新启动 推荐系统提供了查询作业详情API接口,可返回作业详情。返回体中的作业状态字段“jobs.job_status”表示了当前任务的状态。 重新执行作业的API用来将任务以相同的配置重新执行一次。 通过查询作业详情API和重新执行作业的API可
到针对性的推荐效果提升。 前提条件 已经存在创建成功并完成数据探索的数据源。 由于训练作业运行需消耗资源,确保账户未欠费。 确保您使用的OBS目录与RES在同一区域。 基本信息 登录RES管理控制台,在左侧导航栏中选择“推荐业务>自定义场景”,默认进入“自定义场景”列表。 在自定
删除”。 在“删除场景”页面确认自定义场景信息后单击“确定”。 删除场景包含删除场景下所有的策略和服务。场景运行存储在OBS中的数据不会被删除,需要您登录OBS进行删除操作。 父主题: 自定义场景
计费项 RES服务根据用户使用的不同资源分别进行收费。 计费支持区域:华北-北京四。 由于RES使用的离线数据需存储在OBS中,数据存储产生的费用,请参见《OBS价格说明》。 表1 推荐系统计费项说明 计费项 说明 存储资源 应用于物品画像和用户画像的存储计费,对用户和物品的总条目数统计进行收费。
离线数据和近线实时数据如何配合使用? 在推荐系统初始化阶段,需要用户提供批量的离线数据源并按照推荐系统要求的数据格式上传至OBS,完成数据的检测和导入。 近线实时数据源推荐使用RES SDK上传,此操作所有的数据更新都是实时生效的。 父主题: 数据源
用户属性kv串。不同属性之间用\002(ASCII值)分隔,属性的key和value之间用\003(ASCII值)分隔,多值枚举型属性的不同值之间以\004(ASCII值)分隔,kv数值型属性的不同键值对同样以\004(ASCII值)分隔,每一个键值对内部用冒号(:)将键和值分隔。
通过调用API查询作业详情 功能介绍 该接口用于查询作业详情。 URI GET/v1/{project_id}/jobs/{job_id} 参数说明请参见表1。 表1 URI参数说明 名称 是否必选 类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方法请参见获取项目ID。
管理属性配置 属性配置以键值对的方式进行存储,配置后的配置项可以用于整个服务。该配置项的值为用户指定的OBS路径,OBS相关操作请参见创建OBS桶。 前提条件 已开通OBS服务,并按照推荐系统OBS文件夹规范建议格式创建文件夹。 已上传离线数据。 创建场景 您可以根据自己的业务创建场景进行
是否必选 参数类型 说明 is_success 是 Boolean 是否成功。 jobs 是 List 请参见表3,返回的作业信息。 total_items 是 Integer 作业总条数。 表3 jobs参数说明 参数名称 是否必选 参数类型 说明 job_id 是 String 训练作业ID。
准备离线数据源 在使用RES创建数据源时,您需要准备以下的3种基础数据包并上传至OBS。如果使用近线流程,需先将业务系统埋点日志转换成推荐系统指定格式,并实时写入DIS相应通道。本章节介绍了RES当前离线数据源和近线数据源的数据格式,您可以参考本章节说明,准备相应的数据。 目前数
在“在线服务”页面,单击目标服务操作列的“删除”,在“删除”页面确认在线服务信息后单击“确定”进行删除。 服务删除后,将不可恢复,请谨慎操作。存储在OBS中的数据不会被删除。 父主题: 在线服务
数据源如何收费? 数据源的收费包括三项。 “OBS存储”:将离线数据源上传至OBS进行存储,根据存储空间大小进行计费。详见OBS计费详情。 “画像数据”:在数据源导入数据成功后,按每小时每百万条画像进行计费,在删除数据源后,将停止计费。 “训练作业”:在创建离线作业和导入实时数据
您可以对离线数据源进行重新编辑操作来更新数据源,如果该数据源不再使用,您可以删除数据源释放资源。 修改离线数据源 前提条件 已存在的离线数据源有修改或者更新并已经上传至OBS。 只有在数据源数据结构特征抽取人工复核确认之前才允许修改数据源。 注意事项 修改编辑之后的离线数据源需要重新进行数据结构抽取和检测、探索等操作。
者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。 创建数据质量作业 创建数据质量操作步骤如下: 在“离线作业”下,单击“数据质量”页签,单击上方“创建”,进入“创建数据质量”页面。