检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从训练作业中导入模型文件创建模型 从OBS中导入模型文件创建模型 从容器镜像中导入模型文件创建模型 从AI Gallery订阅模型 父主题： 使用ModelArts Standard部署模型并推理预测
Toolkit、VS Code Toolkit，让远程连接操作更便捷。具体参见通过PyCharm远程使用Notebook实例、通过VS Code远程使用Notebook实例、通过SSH工具远程使用Notebook。 在AI开发过程中，如何将文件方便快速地上传到Notebook几乎是每个开
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
方便用户编写训练推理代码，并使用云上资源进行代码调试。具体请参见Notebook使用场景。 Standard的模型训练功能提供了界面化的训练调试环境和生产环境，用户可以使用自己的数据和算法，利用Standard提供的计算资源开展模型训练。具体请参见使用ModelArts Standard训练模型。
作：清除相应资源及时清除资源和数据。 步骤一：准备工作 注册华为账号并开通华为云、实名认证 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS等服务交互，首次使用ModelArts需要用户配置委托授权，允许访问这些依赖服务。具体配置操作请参见配置ModelArts
使用WebSocket协议的方式访问在线服务 背景说明 WebSocket是一种网络传输协议，可在单个TCP连接上进行全双工通信，位于OSI模型的应用层。WebSocket协议在2011年由IETF标准化为RFC 6455，后由RFC 7936补充规范。Web IDL中的WebSocket
修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题： 使用ModelArts Standard部署模型并推理预测
数据准备使用流程 ModelArts是面向AI开发者的一站式开发平台，能够支撑开发者从数据到模型的全流程开发过程，包含数据处理、算法开发、模型训练、模型部署等操作。并且提供AI Gallery功能，能够在市场内与其他开发者分享数据、算法、模型等。为了能帮用户快速准备大量高质量的数
管理批量推理作业 查看批量服务详情 查看批量服务的事件 管理批量服务生命周期 修改批量服务配置 父主题： 使用ModelArts Standard部署模型并推理预测
模型包结构介绍 模型配置文件编写说明 模型推理代码编写说明 自定义引擎创建模型规范 自定义脚本代码示例 父主题： 使用ModelArts Standard部署模型并推理预测
com）和端口号。 图1 Notebook实例详情页面 准备好密钥对。 密钥对在用户第一次创建时，自动下载，之后使用相同的密钥时不会再有下载界面（用户一定要保存好），或者每次都使用新的密钥对。 Step1 配置SSH 在本地的PyCharm开发环境中，单击File -> Settings
使用Notebook代码样例 在AI Gallery中，您可以查找并直接打开使用Notebook实例。 前提条件 注册并登录华为云，详细操作请参见准备工作。 打开Notebook实例 登录“AI Gallery”。 选择“资产集市 > Notebook”，进入Notebook页面
开放的共享，加速AI资产的开发与落地。 发布至AI Gallery的资产是免费的，只需要支付在使用过程中消耗的硬件资源，硬件资源费用将根据实际使用情况由ModelArts管理控制台向使用方收取。 发布至AI云商店 华为云云商店是软件及服务交易交付平台。云商店AI专区汇聚优质的人工
享到AI Gallery中给他人使用学习。 使用限制 CodeLab默认打开，使用的是CPU计算资源。如需切换为GPU，请在右侧窗口，更换GPU规格。 在ModelArts控制台的“总览”界面打开CodeLab，使用的是CPU或GPU资源，无法使用Ascend资源。 如果是AI
清除资源：运行完成后，停止服务并删除OBS中的数据，避免不必要的扣费。 准备工作 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 配置委托访问授权 ModelArts使用过程中涉及到OBS、SWR、IEF等服务交互，首次使用ModelArts
使用CTS审计ModelArts服务 ModelArts支持云审计的关键操作 查看ModelArts相关审计日志
使用ModelArts Standard训练模型 模型训练使用流程 准备模型训练代码 准备模型训练镜像 创建调试训练作业 创建算法 创建生产训练作业 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化（AutoSearch） 模型训练高可靠性 管理模型训练作业
al中使用ModelArts提供的Moxing库的文件操作API（mox.file.copy_parallel）完成。 在PyCharm环境中开启Terminal，VS Code中操作类似。 图2 PyCharm环境开启Terminal 在本地IDE的Terminal中使用Mox
参数说明 参数名称 说明 “资源池” “公共资源池” 公共资源池有CPU或GPU两种规格。如需使用，需联系管理员创建公共资源池。 “专属资源池” 您可以在资源池规格中选择对应的规格进行使用。 “模型来源” 根据您的实际情况选择“自定义模型”或者“订阅模型”。 “选择模型及版本” 选择状态“正常”的模型及版本。
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
