检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练作业:用户在运行训练作业时,可以查看多个计算节点的CPU、GPU、NPU资源使用情况。具体请参见训练资源监控章节。 在线服务:用户将模型部署为在线服务后,可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计,具体参见查看服务详情章节。 父主题: ModelArts Standard资源监控
拼接。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 无 请求示例 如下删除服务ID为xxxxxx的模型服务为例。
开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。 当前自动学习支持快速创建图像分类、物体检测、预测分析、声音分类和文本分类模型的定制化开发。可广泛应用在工业、零售安防等领域。
baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
sft(指令微调) √ √ 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
会话对象。 src_local_file 是 String 本地需要上传的文件路径。 dst_obs_dir 是 String 上传的目标OBS桶地址,必须以“obs://”作为前缀,上传的目标文件夹后缀必须以“/”结尾。 表2 失败响应参数说明 参数 参数类型 描述 error_code
号赋SWR权限,子账号从SWR Console界面看不到该镜像,需要主账号给子账号在SWR侧赋予SWR权限,使得子账号可以看到该SWR镜像地址,否则该镜像子账号不可使用。 该镜像不属于该租户(包括主账号和子账号),是其他人共享的public镜像,而这个镜像又被镜像所有者删除,导致
出现该错误,是因为模型报错太多。当模型报错太多时,会触发dispatcher的熔断机制,导致预测失败。建议您检查模型返回结果,处理模型报错问题,可尝试通过调整请求参数、降低请求流量等方式,提高模型调用的成功率。 父主题: 服务预测
导出ModelArts数据集中的数据到OBS 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,当需要将数据集中的数据存储至OBS用于后续导出使用时,可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。
40 元/小时 * 1 * 0.1 小时 + 3.50 元/小时 * 1 * 0.5 小时 = 2.43 元 存储费用:自动学习作业的数据通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则。 综上,运行自动学习作业的费用 = 计算资源费用(2.43 元) + 存储费用
是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。 上述说明仅罗列OBS
量训练通过保留旧知识的同时学习新知识来避免这个问题。 增量训练在很多领域都有应用,比如自然语言处理、计算机视觉和推荐系统等。它使得AI系统能够更加灵活和适应性强,更好地应对现实世界中不断变化的数据环境。 ModelArts Standard中如何实现增量训练 增量训练是通过Checkpoint机制实现。
数据保护技术 ModelArts通过多种数据保护手段和特性,保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息,如用户邮箱和手机号,AI Gallery在数据库中做了加密处理。其中,加密算法采用了国际通用的AES算法。
费用结算,那么运行这个训练作业的费用计算如下: 计算资源费用 = 3.40 元/小时 * 1 小时 = 3.40 元 存储费用:训练的数据通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则。 综上,训练作业的运行费用 = 计算资源费用(3.40 元) + 存储费用
、产品生命周期分析、销售趋势预测及有针对性的促销活动等。 分类 分类是找出一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据项映射到某个给定的类别。它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等。 聚类 聚类是
当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时,OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址,必须以“obs://”作为前缀,上传的目标文件夹后缀必须以“/”结尾。 表2 失败响应参数说明 参数 参数类型 描述 error_code
Studio、ModelBox这几个镜像,将无法使用这几个镜像新建Notebook实例,用户已有实例仍可以继续使用。后续删除实例后将无法再新建。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。 常见问题 下线镜像对现有用户的使用是否有影响? 下线镜像对已有用户
且在“未标注”和“全部”页签中,标签的信息也将随着标注步骤进行更新,如增加的标签名称、标签对应的图片数量。 智能标注 通过人工标注完成少量数据标注后,可以通过智能标注对剩下的数据进行自动标注,提高标注的效率。 在数据集详情页面,单击右上角“启动智能标注”。 在“启动智能标注”窗口中,填写如下参数,然后单击“提交”。
在ModelArts中物体检测标注时能否自定义标签? 可以通过修改数据集给标签添加自定义属性来设置一些自定义的属性。 图1 修改数据集 父主题: Standard数据准备
K、API、console、OBS Browser等,ModelArts mox.file提供了一套更为方便地访问OBS的API,允许用户通过一系列模仿操作本地文件系统的API来操作OBS文件。例如,可以使用以下代码来打开一个OBS上的文件。 1 2 3 import moxing