检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MoXing常用操作的样例代码 读写操作 读取一个OBS文件。 例如读取“obs://bucket_name/obs_file.txt”文件内容，返回string（字符串类型）。 1 2 import moxing as mox file_str = mox.file.read(
创建模型不同方式的场景介绍 AI开发和调优往往需要大量的迭代和调试，数据集、训练代码或参数的变化都可能会影响模型的质量，如不能统一管理开发流程元数据，可能会出现无法重现最优模型的现象。 ModelArts的模型可导入所有训练生成的元模型、上传至对象存储服务（OBS）中的元模型和容
线下容器镜像构建及调试 镜像构建 导出conda环境 首先拉起线下的容器镜像： # run on terminal docker run -ti ${your_image:tag} 在容器中输入如下命令，得到pytorch.tar.gz： # run on container #
查询AI应用详情 功能介绍 查询AI应用详情，根据AI应用ID查询AI应用的详细信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{projec
通过运行的实例保存成容器镜像 功能介绍 运行的实例可以保存成容器镜像，保存的镜像中，安装的依赖包（pip包）不丢失，VS Code远程开发场景下，在Server端安装的插件不丢失。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
准备预测分析数据 使用ModelArts自动学习构建预测分析模型时，您需要将数据上传至对象存储服务（OBS）中。OBS桶需要与ModelArts在同一区域，例如OBS桶区域为“北京四”时，必须保证ModelArts管理控制台区域也在“北京四”区域，否则会导致无法获取到相关数据。 数据集要求
创建网络资源 功能介绍 创建网络资源。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/networks 表1 路径参数 参数
注册自定义镜像 功能介绍 将用户自定义的镜像注册到ModelArts镜像管理。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/images
查询算法列表 功能介绍 查询算法列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/algorithms 表1 路径参数
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
在ModelArts的Notebook中使用MoXing时，如何进行增量训练？ 在使用MoXing构建模型时，如果您对前一次训练结果不满意，可以在更改部分数据和标注信息后，进行增量训练。 “mox.run”添加增量训练参数 在完成标注数据或数据集的修改后，您可以在“mox.run
GPT-2基于Server适配PyTorch GPU的训练推理指导 场景描述 本文将介绍在GP Ant8裸金属服务器中，使用DeepSpeed框架训练GPT-2（分别进行单机单卡和单机多卡训练）。 训练完成后给出自动式生成内容，和交互式对话框模式。 背景信息 Megatron-DeepSpeed
查看Notebook实例事件 在Notebook的整个生命周期，包括实例的创建、启动、停止、规格变更等关键操作以及实例的运行状态等在后台都有记录，用户可以在Notebook实例详情页中查看具体的事件，通过实例的事件，从而看到实例的运行或者异常等状态详情。在右侧可以手动刷新事件，也
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
创建诊断任务 本文介绍如何创建Notebook并执行性能诊断任务。 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例，选择要使用的AI框架，创建Notebook时可以选择任意镜像。具体参见创建Notebook实例。 创建成功后，Note
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
更新网络资源 功能介绍 更新指定网络资源。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PATCH /v1/{project_id}/networks/{network_name}
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Cluster上的训练方案。训练框架使用的是ModelLink。 本方案目前仅适用于企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
