检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
}/services/{service_id} 响应示例 状态码:200 服务详情 { "service_id" : "f76f20ba-78f5-44e8-893a-37c8c600c02f", "service_name" : "service-demo", "tenant"
路由加速的原理是改变rank编号,所以代码中对rank的使用要统一。 将训练作业完成如下修改后,启动训练作业即可实现网络加速。 将训练启动脚本中的“NODE_RANK="$VC_TASK_INDEX"”修改为“NODE_RANK="$RANK_AFTER_ACC"”。 将训练启动脚本中的
域,单击切换规格,修改规格类型。 图3 切换规格 资源监控。 在使用过程中,如果想了解资源使用情况,可在右侧区域选择“Resource Monitor”,展示“CPU使用率”和“内存使用率”。 图4 资源监控 分享副本到AI Gallery。单击右上角的,将修改后的Notebook样例保存分享到AI
tokenizers #原始权重/tokenizer目录,用户手动创建,用户根据实际规划目录修改,后续操作步骤中会提示 |── Qwen2-72B # 输出权重及日志路径,用户可根据实际自行规划,无需手动创建,此路径对应表1表格中output_dir参数值
任务类型 微调大师 在线推理服务 AI应用 文本问答/文本生成 支持 支持 支持 其他类型 支持 支持 不支持 编辑完成后,单击“确认”保存修改。 管理模型文件 预览文件 在模型详情页,选择“模型文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。
如果您选择部署的是商用模型,则选择服务类型后会弹出“修改配额”窗口,根据需要选择配额后单击“确定”即可跳转至“部署”页面。 由于商用模型支持同时购买多种配额模式的资产,所以仅部署商用模型时需要进行配额选择。免费模型仅一种配额模式无需选择。 图2 修改配额 如果您选择部署的非商业模型,系统自动跳转至“部署”页面。
model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放绝对或相对路径。请根据实际规划修改。 do_train true 指示脚本执行训练步骤,用来控制是否进行模型训练的。如果设
${MA_VJ_NAME}:6666替换。 分析代码中是否存在并发读写同一文件的逻辑,如有则进行修改。 如用户使用多卡的作业,那么可能每张卡都会有同样的读写数据的代码,可参考如下代码修改。 import moxing as mox from mindspore.communication
bucket_name/xxx”为该文件上传到OBS的存储路径,请您按照实际路径进行修改。 上传一个obs_file.txt文件,从Notebook上传至OBS。 在命令行输入以下代码,按需修改路径后,单击运行代码。在OBS控制台的桶中,可以看到txt对象存在,表明上传成功。 1
tokenizers #原始权重/tokenizer目录,用户手动创建,用户根据实际规划目录修改,后续操作步骤中会提示 |── Qwen2-72B # 输出权重及日志路径,用户可根据实际自行规划,无需手动创建,此路径对应表1表格中output_dir参数值
超过1T。您可以通过专属资源池详情页面,规格页签,查看专属资源池磁盘信息。当服务部署失败,提示磁盘空间不足时,请参考服务部署、启动、升级和修改时,资源不足如何处理? 图2 查看专属资源池磁盘信息 创建模型 使用大模型创建模型,选择从对象存储服务(OBS)中导入,需满足以下参数配置:
_id}/services/{service_id}/events 响应示例 状态码:200 服务事件日志。 { "service_name" : "service-07085", "total_count" : 9, "service_id" : "35de3ca9
apig.xxxxxx.com/test", "service_id" : "bb149aac-5ff4-497c-bb73-acb751e20a11", "service_name" : "service-hutest", "support_app_code"
查看Standard专属资源池详情 扩缩容Standard专属资源池 升级Standard专属资源池驱动 修复Standard专属资源池故障节点 修改Standard专属资源池支持的作业类型 迁移Standard专属资源池和网络至其他工作空间 配置Standard专属资源池可访问公网 使用TMS标签实现资源分组管理
ustomize_service.py”,此文件有且只能有一个,模型推理代码编写请参见模型推理代码编写说明。 customize_service.py依赖的py文件可以直接放model目录下,推荐采用相对导入方式导入自定义包。 customize_service.py依赖的其他文
model_name_or_path /home/ma-user/ws/model/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放绝对或相对路径。请根据实际规划修改 adapter_name_or_path /home/ma-user/ws/xxx/sft_lora/
在搜索框中输入创建好的Notebook名称,单击页签进入详情页。 编辑资产详情 资产发布成功后,发布者可以进入详情页修改该资产的名称、描述,让资产更吸引人。也可以修改资产的可见性。 编辑Notebook介绍 在Notebook详情页,单击“项目介绍”。 在基础设置中设置“许可证”、
定义,然后选择上传到SWR的自定义镜像。 代码目录:选择上传到OBS的代码文件夹,例如/sdxl-train/code。若用户需要修改代码文件,可修改OBS桶中代码文件,创建训练作业时,会将OBS的code目录复制到训练容器的/home/ma-user/sdxl-train/us
定义,然后选择上传到SWR的自定义镜像。 代码目录:选择上传到OBS的代码文件夹,例如/sdxl-train/code。若用户需要修改代码文件,可修改OBS桶中代码文件,创建训练作业时,会将OBS的code目录复制到训练容器的/home/ma-user/sdxl-train/us
"support_app_code" : true, "service_id" : "ae20fc9f-b37c-48c2-8ebc-3f3a638c9f48", "service_name" : "service-3c02", "auth_type" : "APP"