检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
第一条命令为安装Linux内核头文件和内核镜像，其中版本为5.4.0-144-generic。 第二条命令为重新生成GRUB引导程序的配置文件，用于在启动计算机时加载操作系统， 命令将使用新安装的内核镜像更新GRUB的配置文件，以便在下次启动时加载新的内核。 父主题： Lite Server
子账号的权限，由主用户来控制，主用户通过IAM的权限配置功能设置用户组的权限，从而控制用户组内的子账号的权限。此处的授权列表均按照ModelArts和其他服务的系统预置策略来举例。 表1 服务授权列表 待授权的服务 授权说明 IAM权限设置 是否必选 ModelArts 授予子账号使用ModelArts服务的权限。
alpaca_gpt4_data.json 数据集，数据集包含有以下字段： instruction：描述模型应执行的任务。指令中的每一条都是唯一的。 input：任务的可选上下文或输入。instruction 对应的内容会与 input 对应的内容拼接后作为指令，即指令为 instruction\ninput。
alpaca_gpt4_data.json 数据集，数据集包含有以下字段： instruction：描述模型应执行的任务。指令中的每一条都是唯一的。 input：任务的可选上下文或输入。instruction 对应的内容会与 input 对应的内容拼接后作为指令，即指令为 instruction\ninput。
本文旨在指导客户将已有的推理业务迁移到昇腾设备上运行（单机单卡、单机多卡），并获得更好的推理性能收益。 ModelArts针对上述使用场景，在给出系统化推理业务昇腾迁移方案的基础上，提供了即开即用的云上集成开发环境，包含迁移所需要的算力资源和工具链，以及具体的Notebook代码运行示例
A系列裸金属服务器已经安装了IB驱动。（网卡设备名称可以使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20.04操作系统默认已经安装IB驱动。） 操作步骤 方法1：使用mlx硬件计数器，估算ROCE网卡收发流量 统计300s内流量，统计脚本如下： x=$(cat
背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入AI应用时，需要支持动态调整租户存储配额；模型加载、启动慢，部署时需要灵活的超时配置；当负载异常重启，模型需要重新加载，服务恢复时间长的问题亟待解决。
容的情况，例如transformers包，导致import的时候出现了错误。 用户代码问题，出现了内存越界、非法访问内存空间的情况。 未知系统问题导致，建议先尝试重建作业，重建后仍然失败，建议提工单定位。 处理方法 如果存在之前能跑通，什么都没修改，过了一阵跑不通的情况，先去排查
参数说明： -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
以下案例以缺失OBS权限不足为例，介绍如何进行授权操作。 由于ModelArts的使用权限依赖OBS服务的授权，您需要为用户授予OBS的系统权限。 如果您需要授予用户关于OBS的所有权限和ModelArts的基础操作权限，请参见配置基础操作权限。 如果您需要对用户使用OBS和M
nfs-common 获取SFS Turbo的挂载命令。 进入弹性文件服务SFS管理控制台。 选择“SFS Turbo”进入文件系统列表，单击文件系统名称，进入详情页面。 在“基本信息”页签获取并记录“Linux挂载命令”。 在ECS服务器中挂载NFS存储。 首先保证对应目录存在，然后输入对应指令即可。命令参考：
本文介绍开发环境场景下子账号所需的基本使用权限，您可参考权限清单新增对应业务场景的权限。示例场景为授权子账号使用Notebook进行调试，数据和代码存放在并行文件系统。以下内容需使用管理账号进行配置。 权限清单 权限 表1 开发环境所需权限 业务场景 依赖的服务 依赖策略项 支持的功能 配置建议 开发环境实例生命周期管理
--tensor-parallel-size：并行卡数。 --gpu-memory-utilization：0~1之间的float，实际使用的显存是系统读取的最大显存*gpu-memory-utilization。 --max-model-len：最大数据输入+输出长度，不能超过模型配置文件config
CLI工具。CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前，请不要刷新或关闭上传页面，防止意外终止上传任务，导致数据缺失。 当文件状态变成“上传成功”表示数据文件成功上传至AI Gallery仓库进行托管。单击“完成”返回数据集文件页面。 图1
2。开发者可以通过Workflow进行有向无环图（Directed Acyclic Graph，DAG）的开发，整个DAG的执行就是有序的任务执行模板，依次执行从数据标注、数据集版本发布、模型训练、模型注册到服务部署环节。如果想了解更多关于Workflow您可以参考Workflow简介。
pip源中不存在该包，当前默认pip源为pypi.org中的包，请在pypi.org中查看是否有对应版本的包并查看包安装限制。 下载的包与对应基础镜像架构不匹配，如arm系统下载了x86的包，python2版本的pip下载了python3的包。具体基础镜像运行环境请参见推理基础镜像列表。 安装pip包有先后依赖关系。
“数据集输出位置”建议选择一个空目录。 “数据集输出位置”不支持OBS并行文件系统下的路径，请选择OBS对象桶。 高级特征选项-按标签导入 默认关闭，可通过勾选高级选项提供增强功能。 如“按标签导入”：系统将自动获取此数据集的标签，您可以单击“添加标签”添加相应的标签。此字段为可选
e 各模型支持的卡数请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明章节。 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行，需要购买ModelArts专属资源池。 准备权重
用率或NPU利用率，并根据这段时间内的GPU利用率或NPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 系统预置了卡死检测的环境变量“MA_HANG_DETECT_TIME=30”，表示30分钟内进程IO无变化则判定作业卡死。如果需要修改卡死检测
导入AI应用对于镜像大小的限制 ModelArts部署使用的是容器化部署，容器运行时有空间大小限制，当用户的模型文件或者其他自定义文件，系统文件超过容器引擎空间大小时，会提示镜像内空间不足。 当前，公共资源池容器引擎空间的大小最大支持50G，专属资源池容器引擎空间的默认为50G，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
