检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不建议使用TensorFlow、MXNet、PyTorch的OBS接口直接从OBS上读取数据。 如果文件较小，可以将OBS上的数据保存成“.tar”包。训练开始时从OBS上下载到“/cache”目录，解压以后使用。 如果文件较大，可以保存成多个“.tar”包，在入口脚本中调用多进
max-model-len小。推荐使用4096、8192甚至更大。 执行推理参考 Ascend vllm使用Chunked Prefill特性需参考表1，其它参数请参考启动推理服务。 启动推理服务请参考启动推理服务。 父主题： 推理关键特性使用
keepalive”，如图2 勾选“SSH keepalive”所示。 图2 勾选“SSH keepalive” 如果使用的是专业版的MobaXterm工具，请执行步骤3。 如果使用的是专业版的MobaXterm工具，请参考图3 设置“Stop server after”，此参数默认值为360s，将其设置为3600s或更大值。
不同存储的实现方式都不同，在性能、易用性、成本的权衡中可以有不同的选择，没有一个存储可以覆盖所有场景，了解下云上开发环境中各种存储使用场景说明，更能提高使用效率。 表5 云上开发环境中各种存储使用场景说明 存储类型 建议使用场景 优点 缺点 云硬盘EVS 比较适合只在开发环境中做数据、算法探索，性能较好。
在LLM推理应用中，经常会面临具有长system prompt的场景以及多轮对话的场景。长system prompt的场景，system prompt在不同的请求中但是相同的，KV Cache的计算也是相同的；多轮对话场景中，每一轮对话需要依赖所有历史轮次对话的上下文，历史轮次中的KV
使用自定义引擎在ModelArts Standard创建模型 使用自定义引擎创建模型，用户可以通过选择自己存储在SWR服务中的镜像作为模型的引擎，指定预先存储于OBS服务中的文件目录路径作为模型包来创建模型，轻松地应对ModelArts平台预置引擎无法满足个性化诉求的场景。 自定义引擎创建模型的规范
n步之间连续处理，而无需等待CPU，可以将CPU开销分散到n步中，从而显著减少NPU空闲时间，提升整体性能。 约束限制 暂不支持Multi-Lora和投机推理场景。 multi-step参数设置 启动推理服务时，使用multi-step调度需要配置的参数如下表所示。 表1 开启multi-step调度参数配置
Parallel） 示例：创建DDP分布式训练（PyTorch+GPU） 示例：创建DDP分布式训练（PyTorch+NPU） 父主题： 使用ModelArts Standard训练模型
查看训练作业资源占用情况 查看模型评估结果 查看训练作业事件 查看训练作业日志 修改训练作业优先级 使用Cloud Shell调试生产训练作业 重建、停止或删除训练作业 管理训练容器环境变量 查看训练作业标签 父主题： 使用ModelArts Standard训练模型
保存Notebook实例 动态扩充云硬盘EVS容量 动态挂载OBS并行文件系统 查看Notebook实例事件 Notebook Cache盘告警上报 父主题： 使用Notebook进行AI开发调试
当完成上传数据至OBS并预热到SFS Turbo中步骤后，在ModelArts Standard中创建训练作业时，设置训练“SFS Turbo”，在“文件系统”中选择SFS Turbo实例名称，并指定“存储位置”和“云上挂载路径”。系统会在训练作业启动前，自动将存储位置中的文件目录挂载到训练容器中指定路径。
创建调试训练作业 使用PyCharm ToolKit创建并调试训练作业 使用VS Code创建并调试训练作业 父主题： 使用ModelArts Standard训练模型
使用Windows下生成的文本文件时报错找不到路径？ 问题现象 当在Notebook中使用Windows下生成的文本文件时，文本内容无法正确读取，可能报错找不到路径。 原因分析 Notebook是Linux环境，和Windows环境下的换行格式不同，Windows下是CRLF，而Linux下是LF。
答。更多MaaS服务的使用指导，请参见用户指南。 前提条件 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 步骤一：配置委托访问授权 ModelArts使用过程中涉及到与OBS、SWR等服务交互，首次使用ModelArts需要用户配置委托授权，允许访问这些依赖服务。
Notebook里使用）。 debug 在ECS上调试SWR镜像是否能在ModelArts Notebook中使用 （只支持已安装docker环境的ECS）。 使用ma-cli image get-template命令查询镜像构建模板 ma-cli提供了一些常用的镜像构建模板，模板中包含了在ModelArts
在ModelArts的Notebook中内置引擎不满足使用需要时，如何自定义引擎IPython Kernel？ 使用场景 当前Notebook默认内置的引擎环境不能满足用户诉求，用户可以新建一个conda env按需搭建自己的环境。本小节以搭建一个“python3.6.5和tensorflow1
根据不同的算法来源，选择不同的训练作业创建方式。 使用已有算法创建训练作业：选择创建方式（使用我的算法） 使用订阅算法创建训练作业：选择创建方式（使用订阅算法） 使用预置镜像创建训练作业：选择创建方式（自定义算法） 使用自定义镜像创建训练作：选择创建方式（使用自定义镜像） 配置训练参数：配置训练
在需要查看的事件左侧，单击展开该事件的详细信息。 单击需要查看的事件“操作”列的“查看事件”，可以在弹窗中查看该操作事件结构的详细信息。 更多关于云审计服务事件结构的信息，请参见《云审计服务用户指南》。 父主题： 使用CTS审计ModelArts服务
ma-cli ma-job训练作业支持的命令 ma-cli dli-job提交DLI Spark作业支持的命令 使用ma-cli obs-copy命令复制OBS数据 父主题： 使用Notebook进行AI开发调试
管理ModelArts模型 查看ModelArts模型详情 查看ModelArts模型事件 管理ModelArts模型版本 发布ModelArts模型 父主题： 使用ModelArts Standard部署模型并推理预测
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
