检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/work_dirs/eval_msvd/$CKPT下,存在两个文件,可以查看推理的精度和性能结果 精度结果文件:accuracy_${time_stamp}.json 性能结果文件:performance_${time_stamp}.json 图1 精度结果 图2 性能结果 父主题
图2 提示clip-vit-large-patch14-336模型不能自动下载 父主题: AIGC模型训练推理
理解ModelArts的权限与委托 图1 权限管理抽象 ModelArts与其他服务类似,功能都通过IAM的权限来进行控制。
如下所示: 单击my-py3-tensorflow-env图标,验证是否为当前环境,如下所示: 清理环境。 删除虚拟环境的IPython Kernel。 jupyter kernelspec uninstall my-py3-tensorflow-env 删除虚拟环境。
可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体 102:文本三元组关系标签 103:文本三元组实体标签 200:语音分类 201:语音内容 202:语音分割 600:视频标注 表9 SearchProp 参数 参数类型 描述 op String
图1 Notebook中上传下载OBS文件 使用OBS客户端上传文件的操作指导:上传文件 方法一:在Notebook中通过Moxing上传下载OBS文件 MoXing是ModelArts自研的分布式训练加速框架,构建于开源的深度学习引擎TensorFlow、PyTorch等之上,使用
只有托管到AI Gallery仓库的资产才支持使用Gallery CLI配置工具下载文件,如果在资产详情页有“复制完整资产名称”按钮即表示该资产支持使用Gallery CLI配置工具下载,如图1所示。
否 LabelTaskTypeEnum 支持以下几种类型: IMAGE_CLASSIFICATION (图像分类) OBJECT_DETECTION = 1 (物体检测) IMAGE_SEGMENTATION (图像分割) TEXT_CLASSIFICATION (文本分类) NAMED_ENTITY_RECOGNITION
图1 配置委托访问授权 完成配置后,在ModelArts控制台的权限管理列表,可查看到此账号的委托配置信息。 图2 查看委托配置信息 配置SWR组织权限。 IAM用户创建后,需要管理员在组织中为用户添加授权,使IAM用户对组织内所有镜像享有读取/编辑/管理的权限。
图1 进入我的Gallery 表1 我的Gallery列表介绍 模块列表 功能介绍 我的主页 展示个人的成长值数据。 成长值可以通过“签到”和发布资产获取,每天只能签到一次。 说明: 成长值相关数据和功能当前是Beta版本,在正式版本发布前可能会发生变化。
图1 等待模型载入 更多查看训练日志和性能操作,请参考查看日志和性能章节。 父主题: 主流开源大模型基于DevServer适配PyTorch NPU训练指导(6.3.905)
图1 在AI开发时使用Standard资源池 ModelArts Standard资源池说明 在使用ModelArts进行AI开发时,您可以选择使用如下两种资源池: 专属资源池:专属资源池不与其他用户共享,资源更可控。
图1 资源配置(单节点方式) 修改容器引擎空间大小 扩容资源池时,可以设置新建节点的容器引擎空间大小。此操作会导致资源池内该规格下节点的dockerBaseSize不一致,可能会使得部分任务在不同节点的运行情况不一致,请谨慎操作。存量节点不支持修改容器引擎空间大小。
图1 上传OBS文件到Notebook的代码示例 构建推理代码。 解压AscendCloud-3rdLLM-6.3.905-xxx.zip代码包。
图1 等待模型载入 训练完成后,生成的权重文件保存路径为:/home/ma-user/ws/llm_train/saved_dir_for_output/llama2-13b/saved_models/。 更多查看训练日志和性能操作,请参考查看日志和性能章节。
必选: 固定子目录名称,用于放置模型相关文件 | │ ├── <<自定义python包>> 可选:用户自有的Python包,在模型推理代码中可以直接引用 | │ ├── saved_model.pb 必选: protocol buffer格式文件,包含该模型的图描述
如果设置为"true",则在训练结束后,将损失曲线保存为图片 overwrite_output_dir true 是否覆盖输出目录。如果设置为"true",则在每次训练开始时,都会清空输出目录,以便保存新的训练结果。
如果设置为"true",则在训练结束后,将损失曲线保存为图片 overwrite_output_dir true 是否覆盖输出目录。如果设置为"true",则在每次训练开始时,都会清空输出目录,以便保存新的训练结果。
图1 查看项目ID “region_name”即区域ID。获取方式请参见获取区域ID。 父主题: Session鉴权
对于数据预处理任务比较特殊的两个场景物体检测和图像分类,键“task_type”对应的值为“object_detection”或“image_classification”。 表6 WorkPath 参数 是否必选 参数类型 描述 name 否 String 数据集的名称。