检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-70b 对应模型名称。
加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 OUTPUT_SAVE_DIR /home/ma-user/ws/save_dir/llama2-70B_sft_lora_4096 【必改】。训练任务结束生成日志及权重文件目录。
加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 OUTPUT_SAVE_DIR /home/ma-user/ws/save_dir/llama2-70B_sft_lora_4096 【必改】。训练任务结束生成日志及权重文件目录。
创建ModelArts人工标注作业 由于模型训练过程需要大量有标签的数据，因此在模型训练之前需对没有标签的数据添加标签。您可以通过创建单人标注作业或团队标注作业对数据进行手工标注，或对任务启动智能标注添加标签，快速完成对图片的标注操作，也可以对已标注图片修改或删除标签进行重新标注。
准备声音分类数据 使用ModelArts自动学习构建模型时，您需要将数据上传至对象存储服务（OBS）中。OBS桶需要与ModelArts在同一区域。 声音分类的数据要求 音频只支持16bit的WAV格式。支持WAV的所有子格式。 单条音频时长应大于1s，大小不能超过4MB。 适当增加训练数据
数据处理场景介绍 数据处理功能仅在以下Region支持：华北-北京四、华北-北京一、华东-上海一、华南-广州。 ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后，数据一般是不能直接满足训练要求的
从Manifest文件导入规范说明 Manifest文件中定义了标注对象和标注内容的对应关系。此导入方式是指导入数据集时，使用Manifest文件。选择导入Manifest文件时，可以从OBS导入。当从OBS导入Manifest文件时，需确保当前用户具备Manifest文件所在OBS
注意替换用户个人开发目录 cd /home_host/用户个人目录 mkdir sd cd sd git clone https://github.com/huggingface/diffusers.git -b v0.11.1-patch git clone Hugging Face
服务韧性 韧性特指安全韧性，即云服务受攻击后的韧性，不含可靠性、可用性。本章主要阐述ModelArts服务受入侵的检测响应能力、防抖动的能力、域名合理使用、内容安全检测等能力。 安全防护套件覆盖和使用堡垒机，增强入侵检测和防御能力 ModelArts服务部署主机层、应用层、网络层和数据层的安全防护套件
Paraformer基于DevServer适配PyTorch NPU推理指导（6.3.911） 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展Paraformer的推理过程。 约束限制 本方案目前仅适用于企业客户
Ascend-vLLM介绍 Ascend-vLLM概述 vLLM是GPU平台上广受欢迎的大模型推理框架，因其高效的continuous batching和pageAttention功能而备受青睐。此外，vLLM还具备投机推理和自动前缀缓存等关键功能，使其在学术界和工业界都得到了广泛应用
功能总览 功能总览 全部 自动学习 Workflow 开发工具 算法管理 训练管理 AI应用管理 部署上线 镜像管理 资源池 AI Gallery ModelArts SDK 昇腾生态 自动学习 自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型
删除镜像 功能介绍 删除镜像对象，对于个人私有镜像可以通过参数一并删除SWR镜像内容。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE
标注声音分类数据 项目创建完成后，将会自动跳转至新版自动学习页面，并开始运行，当数据标注节点的状态变为“等待操作”时，需要手动进行确认数据集中的数据标注情况，也可以对数据集中的数据进行标签的修改，数据的增加或删减。 图1 数据标注节点状态 音频标注 在新版自动学习页面单击“实例详情
查询镜像详情 功能介绍 查询镜像详情。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/images/{id
确认智能标注作业的数据难例 在数据量很大的标注任务中，标注初期由于已标注图片不足，智能标注的结果无法直接用于训练。如果对所有的未标注数据一一进行调整确认仍然需要较大的人力和时间成本。为了更快地完成标注任务，在对未标注数据进行智能标注的任务中，ModelArts嵌入了自动难例发现功能
在Notebook中通过镜像保存功能制作自定义镜像用于推理 场景说明 本文详细介绍如何将本地已经制作好的模型包导入ModelArts的开发环境Notebook中进行调试和保存，然后将保存后的镜像部署到推理。本案例仅适用于华为云北京四和上海一站点。 操作流程如下： Step1 在Notebook
模型的自定义镜像制作流程 如果您使用了ModelArts不支持的AI引擎开发模型，也可通过制作自定义镜像，导入ModelArts创建为模型，并支持进行统一管理和部署为服务。 制作流程 场景一： 预置镜像的环境软件满足要求，只需要导入模型包，就能用于创建模型，通过镜像保存功能制作。具体案例参考在
训练作业容错检查 用户在训练模型过程中，存在因硬件故障而产生的训练失败场景。针对硬件故障场景，ModelArts提供容错检查功能，帮助用户隔离故障节点，优化用户训练体验。 容错检查包括两个检查项：环境预检测与硬件周期性检查。当环境预检查或者硬件周期性检查任一检查项出现故障时，隔离故障硬件并重新下发训练作业
ModelArts昇腾迁移调优工具总览 ModelArts集成了多个昇腾迁移调优工具，方便您在ModelArts平台环境中进行训练推理迁移、精度调试、性能调优等工作，您可在下表中查看当前ModelArts支持的昇腾迁移调优工具及对应指导。 表格中的部分工具已集成到ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
