检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数，跳过生成scale的过程。 --model-output：量化模型权重保存路径。 --smooth-strength：平滑系数，推荐先指定为0.5，后续可以根据推理效果进行调整。 --per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。
以Llama2-13b为例。 进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。先修改以下命令中的参数，再复制执行 # 单机执行命令为：sh scripts/llama2/0_pl_lora_13b.sh <MASTER_ADDR=localhost>
一管理的，当用户已拥有ModelArts的访问授权时，无需单独配置MaaS服务的访问授权，当用户没有ModelArts的访问授权时，则需要先完成配置才能正常使用MaaS服务。 ModelArts在任务执行过程中需要访问用户的其他服务，典型的就是训练过程中，需要访问OBS读取用户的
例筛选等多种手段进行智能标注，降低人工标注量，帮助用户找到难例。 “预标注”表示选择用户模型管理里面的模型进行智能标注。 “自动分组”是指先使用聚类算法对未标注图片进行聚类，再根据聚类结果进行处理，可以分组打标或者清洗图片。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
in ModelArts”，进入CodeLab并打开该样例。等待右上角连接成功即可运行Notebook样例。 首次进入CodeLab时，会提醒先登录ModelArts控制台，由于需要进行环境准备，需要等待1~2分钟才可顺利进入开发页面，请耐心等待。 CodeLab的内部环境依托Not
示所有未标注的音频数据。依次单击选中待标注的音频，或勾选“选择当前页”选中该页面所有音频，在页面右侧进行标注。 图2 音频标注 添加标注。先对音频进行播放识别，然后选中音频文件，在右侧“标签”区域，输入“标签名”或从下拉列表中选择已添加的标签，同时可在下拉菜单中选择标签“快捷键”
以Llama2-13b为例。 进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本，先修改以下命令中的参数，再复制执行。 # 单机执行命令为：sh scripts/llama2/0_pl_sft_13b.sh <MASTER_ADDR=localhost>
机启动，以 Llama2-13B 为例。 进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下，先修改以下命令中的参数，再复制执行。xxx-Ascend请根据实际目录替换。 # 单机执行命令为：sh scripts/llama2/0_pl_pretrain_13b
以Llama2-13b为例。 进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。先修改以下命令中的参数，再复制执行 # 单机执行命令为：sh scripts/llama2/0_pl_lora_13b.sh <MASTER_ADDR=localhost>
建议通过开源的官方镜像来构建，例如PyTorch的官方镜像。 建议容器分层构建，单层容量不要超过1G、文件数不大于10w个。分层时，先构建不常变化的层，例如：先OS，再cuda驱动，再Python，再pytorch，再其他依赖包。 不建议把数据、代码放到容器镜像里。因为对应内容应该是经
以Llama2-13b为例。 进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本，先修改以下命令中的参数，再复制执行。 # 单机执行命令为：sh scripts/llama2/0_pl_sft_13b.sh <MASTER_ADDR=localhost>
Server的基本使用流程，帮助您快速上手，使用流程包含以下步骤。 图1 使用流程 资源开通 由于Server为一台裸金属服务器，因此需要先购买资源后才能使用。 首先请联系客户经理确认Server资源方案，部分规格为受限规格，因此需要申请开通您所需的资源规格。 Server所需资
Storage Service，简称OBS）进行数据存储以及模型的备份和快照，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码以及输入输出数据存放OBS为例，请参考创建OBS桶，例如桶名
机启动，以 Llama2-13B 为例。 进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下，先修改以下命令中的参数，再复制执行。xxx-Ascend请根据实际目录替换。 # 单机执行命令为：sh scripts/llama2/0_pl_pretrain_13b
NPU环境相关命令检测 NpuToolsWarning 重要 hccn_tool不可用 请检查NPU驱动是否正常 无法配置RoCE网卡的IP、网关 重要 npu-smi不可用 请检查NPU驱动是否正常 无法正常使用NPU卡 重要 ascend-dmi不可用 请检查工具包ToolBox是否正常安装
与交付过程是分离的，算法工程师开发完的模型，一般都需要交付给下游系统工程师。MLOps和以往的开发交付不同，在这个过程中，算法工程师参与度还是非常高的。企业内部一般都是有一个交付配合的机制。从项目管理角度上需要增加一个AI项目的工作流程机制管理，流程管理不是一个简单的流水线构建管理，它是一个任务管理体系。
这种方法主要针对如何在保持模型大部分参数固定的同时，通过引入少量可训练参数来调整模型以适应特定任务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.908版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
LM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 推理部署使用的服务框架是vLLM（官网地址：https://github.com/vllm-project/vllm/tree/v0
场景数据集的差异。 图片亮度 Brightness 图片亮度，值越大代表观感上亮度越高。 一般呈正态分布，可根据分布中心判断数据集整体偏亮还是偏暗。可根据使用场景调整，比如使用场景是夜晚，图片整体应该偏暗。 图片饱和度 Saturation 图片的色彩饱和度，值越大表示图片整体色彩越容易分辨。
根据需要选择是否将任务中智能标注待确认的结果自动同步给标注人员。 团队标注加载智能标注结果的处理步骤： 如果类型选择"指定标注团队"，需要先创建团队标注任务，然后执行智能标注任务。 如果类型选择"指定标注管理员"，在“我参与的”页签下选择团队标注任务，单击"分配任务"。 图4 创建团队标注任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
