检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Msprobe工具分析偏差 观察上一章Loss趋势，在首个Step有较小偏差，所以对第一个Step进行比对分析。此处使用Msprobe的整网Dump和比对分析功能。 首先安装社区Msprobe工具，命令如下： pip install mindstudio-probe 使能工具
${pod_name} volcano资源调度失败 当volcano的资源出现争抢时，会出现下图中的问题。 解决方法： 通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。
${pod_name} volcano资源调度失败 当volcano的资源出现争抢时，会出现下图中的问题。 解决方法： 通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。
save error”错误。 大多数原因是华为云WAF安全拦截导致的。当前页面，即用户的输入或者代码运行的输出有一些字符被华为云拦截，认为有安全风险。 出现此问题时，请提交工单，联系专业的工程师帮您核对并处理问题。 父主题： 实例故障
管理Workflow工作流 启动Workflow 登录ModelArts管理控制台，在左侧导航栏选择“开发空间>Workflow”，进入Workflow总览页面。 有3种操作方式运行工作流。 工作流列表页：单击操作栏的“启动”按钮，出现启动Workflow询问弹窗，单击“确定”。 工作流运行页面：单击右上
登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 有两种方式进入体验页面，任选一种方式进入即可。 方式一 在ModelArts Studio左侧导航栏中，选择“模型体验”进入体验页面。 在“模
${pod_name} volcano资源调度失败 当volcano的资源出现争抢时，会出现下图中的问题。 解决方法： 通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。
分离部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
使用pytorch进行分布式训练时，日志中出现报错“RuntimeError: connect() timed out”。 原因分析 出现该问题的可能原因如下： 如果在此之前是有进行数据复制的，每个节点复制的速度不是同一个时间完成的，然后有的节点没有复制完，其他节点进行torch.distributed.init_process_group()导致超时。
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
${pod_name} volcano资源调度失败 当volcano的资源出现争抢时，会出现下图中的问题。 解决方法： 通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。
会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 驱动升级有两种升级方式：安全升级、强制升级。 安全升级：不影响正在运行的业务，开始升级后会先将节点进行隔离（不能再下发新的作业），待节点上的存量作业运
Gallery中，可以报名参加正在进行中的实践活动。 查找实践活动 进入AI Gallery首页，单击“实践”，在下拉框中单击“实践 >”，进入实践首页。 在实践页面，有“进行中”、“即将开始”和“已结束”三种状态的实践活动筛选方式。 图1 查找实践活动 单击右上方的“我的实践”可以跳转到个人中心（“我的Gallery
作业、查看训练情况以及管理训练版本。通过模型训练试验模型结构、数据和超参的各种组合，便于找到最佳的模型结构和权重。 创建生产环境的训练作业有2种方式： 通过ModelArts Standard控制台的方式创建生产环境的训练作业，详细操作请参考本章节以下内容。 通过ModelArt
时，如何修改训练的启动文件。 Ascend-Powered-Engine框架启动原理 在ModelArts创建训练作业界面选择AI框架时，有一个AI框架是“Ascend-Powered-Engine”，它既不是一个AI框架（如：PyTorch、TensorFlow）也不是一个并行
Gallery仓库）里面。每一个模型实例视作一个资产仓库，模型实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓库有个名为“Test”的仓库，其中只存放Test模型实例的全部文件。 功能说明 支持本地文件托管至AI Gallery仓库且支持多个文件同时上传。
AI Gallery的Transformers库支持部分开源的模型结构框架，并对昇腾系列显卡进行了训练/推理性能优化，可以做到开箱即用。如果你有自己从头进行预训练的模型，AI Gallery也支持使用SDK构建自定义模型接入AI Gallery。 Transformers库介绍 AI
会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 驱动升级有两种升级方式：安全升级、强制升级。 安全升级：不影响正在运行的业务，开始升级后会先将节点进行隔离（不能再下发新的作业），待节点上的存量作业运
如果ModelArts的自动学习项目、Notebook实例、训练作业或在线服务，都已经处于停止状态，即总览页面没看到收费项目，仍然发现账号还在计费。 有以下几种可能情况： 因为您在使用ModelArts过程中，将数据上传至OBS进行存储，OBS会根据实际存储的数据进行计费。建议前往OBS管理
ModelArts服务支持购买套餐包，根据用户选择使用的资源不同进行收费。您可以根据业务需求选择使用不同规格的套餐包。 ModelArts提供了AI全流程开发的套餐包，面向有AI基础的开发者，提供机器学习和深度学习的算法开发及部署全功能，包含数据处理、模型开发、模型训练、模型管理和模型部署流程。 约束限制 套餐包在购买和使用时的限制如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
