检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
致。 在“专属资源池扩缩容”页面,设置“资源配置 > 可用区”,可用区可选择随机分配和指定AZ。 选择随机分配时,扩缩容完成后,节点的可用区分布由系统后台随机选择。 选择指定AZ时,可指定扩缩容完成后节点的可用区分布。 图1 资源配置(单节点方式) 修改容器引擎空间大小 扩容资源
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 硬盘限制故障
MindSpore支持将数据信息保存到Summary日志文件中,并通过可视化界面MindInsight进行展示。 前提条件 使用MindSpore引擎编写训练脚本时,为了保证训练结果中输出Summary文件,您需要在脚本中添加收集Summary相关代码。 将数据记录到Summary日志文件中的具体方式请参考收集Summary数据。
file_num_finished Long 传输完成文件数。 file_num_total Long 总文件数。 file_size_finished Long 传输完成文件大小(字节)。 file_size_total Long 总文件大小(字节)。 请求示例 获取数据集导入任务列表
在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范: 如不需要提前上传训练数据,请创建一个空文件夹用于存放工程后期生成的文件。如:“/bucketName/data-cat”。 如需要提前上传待标注的音频,请创建一个空文件夹,然后将音频文件保存在该文件夹下,音频的目录结构如:“/bucketName/data-cat/cat
编辑完成后,单击“确认”保存修改。 管理模型文件 预览文件 在模型详情页,选择“模型文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在模型详情页,选择“模型文件”页签。单击操作列的“下载”,即可下载文件到本地。 删除文件 在模型详情页,选
查看修改的内容 如果修改代码库中的某个文件,在“Changes”页签的“Changed”下可以看到修改的文件,并单击修改文件名称右侧的“Diff this file”,可以看到修改的内容。 图7 查看修改的内容 提交修改的内容 确认修改无误后,单击修改文件名称右侧的“Stage this
图片分辨率过大 宽、高按指定大小同比例进行裁剪 表2 标注类文件数据校验 异常情况 处理方案 xml结构残缺,无法解析 过滤xml文件 xml中没有标注“object” 过滤xml文件 xml中没有矩形框“bndbox” 过滤xml文件 某些标注“object”中没有矩形框“bndbox”
如何将本地标注的数据导入ModelArts? ModelArts支持通过导入数据集的操作,导入更多数据。本地标注的数据,当前支持从OBS目录导入或从Manifest文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OBS目录导入或从Manifest详细操作指导和规范说明请参见导入数据。
在JupyterLab的“Launcher”页签下,以TensorFlow为例,您可以单击TensorFlow,创建一个用于编码的文件。 图1 选择不同的AI引擎 文件创建完成后,系统默认进入“JupyterLab”编码页面。 图2 进入编码页面 调用mox.file 输入如下代码,实现如下几个简单的功能。
开头,长度限制为64字符)。同一个Step的输出名称不能重复 是 str dataset_version_config 数据集版本发布相关配置信息 是 DatasetVersionConfig 表4 DatasetVersionConfig 属性 描述 是否必填 数据类型 version_name
/v1/{project_id}/dev-servers modelarts:devserver:create ecs:serverKeypairs:createecs:*:get iam:users:getUser iam:users:listUsers iam:projects:listProjects
earning时,均需要替换为此处实际创建的组织名称。 单击右上角“登录指令”,获取登录访问指令。 以root用户登录ECS环境,输入登录指令。 图1 在ECS中执行登录指令 Step2 上传镜像到SWR 此小节介绍如何上传镜像至容器镜像服务SWR的镜像仓库。 登录SWR后,使用docker
p'中到不到文件 Notebook无法执行代码,如何处理? 运行训练代码,出现dead kernel,并导致实例崩溃 如何解决训练过程中出现的cudaCheckError错误? 如何处理使用opencv.imshow造成的内核崩溃? 使用Windows下生成的文本文件时报错找不到路径?
自动学习训练后的模型是否可以下载? 不可以下载。但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: Standard自动学习
/home/ma-user/anaconda3/bin/activate /home/ma-user/anaconda3/envs/my-env 执行如下命令在my env里安装如下依赖包。 pip install ipykernel 如果遇到版本冲突,建议固定版本如下: pip install jupyter_core==5
th kv_cache_scales.json #输入Step2 抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能,不需要此json文件,此时scale系数默认为1,但是可能会造成精度下降。 父主题: 推理模型量化
码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码存放OBS为例,请参考创建OBS桶,例如桶名:standard-qwen-14b。并在该桶下创建文件夹目录用于后续存储代码使用,例如:code。
-path kv_cache_scales.json #输入2. 抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能,不需要此json文件,此时scale系数默认为1,但是可能会造成精度下降。 per-tensor+per-head静态量化场景 如需
th kv_cache_scales.json #输入Step2 抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能,不需要此json文件,此时scale系数默认为1,但是可能会造成精度下降。 父主题: 推理模型量化