检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source_type String 模型来源的类型。 当模型为自动学习部署过来时,取值为“auto”。 当模型是用户通过训练作业或OBS模型文件部署时,此值为空。 model_type String 模型类型,取值为:TensorFlow/MXNet/Spark_MLlib/Sci
est文件导入。 dataset.import_data(path=None, anntation_config=None, **kwargs) 不同类型的数据集支持的导入方式如表1所示。 表1 不同数据集支持的导入方式 数据集类型 OBS目录导入 Manifest文件导入 备注
fork/exec /home/ma-user/modelarts/bin/detect/ascend_check: no such file or directory" file="ascend_check.go:56" Command=bootstrap/run Component=ma-training-toolkit
处理方法 建议您按以下步骤排查处理: 确认部署在线服务时是否选择了GPU规格。 在customize_service.py中添加一行代码os.system('nvcc -V)查看该镜像的cuda版本(customize_service.py编写指导请见模型推理代码编写说明)。 确认该cu
10000; done 部分参数说明: MODEL_NAME:HuggingFace格式模型权重文件所在OBS文件夹名称。 OUTPUT_DIR:通过TensorRT-LLM转换后的模型文件在容器中的路径。 完整的Dockerfile如下: FROM nvcr.io/nvidia/tritonserver:23
max_model_len is greater than the drived max_model_len 解决方法: 修改config.json文件中的"seq_length"的值,"seq_length"需要大于等于 --max-model-len的值。config.json存在模型
模型包里面必须包含“model”文件夹,“model”文件夹下面放置模型文件,模型配置文件,模型推理代码文件。 模型文件:在不同模型包结构中模型文件的要求不同,具体请参见模型包结构示例。 模型配置文件:模型配置文件必须存在,文件名固定为“config.json”,有且只有一个,模型配置文件编写请参见模型配置文件编写说明。
local_dir = "/home/ma-user/work/qwen-14b" mox.file.copy_parallel(obs_dir, local_dir) 实际操作如下图所示。 图1 上传OBS文件到Notebook的代码示例 Step3 启动推理服务 配置需要使用的NPU卡编
-o wide 重启该Pod,通过delete的方式删除,但随后会自动重新启动。 kubectl delete pod -n kube-system ${pod_scheduler_name} 图3 scheduler 若重启后,还是会Pending,建议多重复重启几次。 其他实例调度失败问题
请参见云日志服务。 说明: “运行日志输出”开启后,不支持关闭。 LTS服务提供的日志查询和日志存储功能涉及计费,详细请参见了解LTS的计费规则。 请勿打印无用的audio日志文件,这会导致系统日志卡死,无法正常显示日志,可能会出现“Failed to load audio”的报错。
threshold. Reduce the disk usage or mount a larger disk.; 原因分析 Checkpoint文件过大。 问题影响 权重校验失败。 处理方法 使用Qwen2.5-72B-1K或Qwen2.5-32B模型的Checkpoint创建模型时,建议关闭权重校验。
max_model_len is greater than the drived max_model_len 解决方法: 修改config.json文件中的"seq_length"的值,"seq_length"需要大于等于 --max-model-len的值。config.json存在模型
参数 是否必选 参数类型 描述 data_type 是 String 当前支持三种格式:files、images、json, 即文本、图片、json格式。 data 是 String 针对files、images类型的数据, 该参数为其本地路径,如 : data = "/home/ma-user/work/test
install在Notebook或Terminal中安装依赖包。 在Notebook中安装 在总览页面进入CodeLab。 在“Notebook”区域下,新建一个ipynb文件。 在新建的Notobook中,在代码输入栏输入如下命令。 !pip install xxx 在Terminal中安装 在Terminal里激活需要的anaconda
max_model_len is greater than the drived max_model_len 解决方法: 修改config.json文件中的"seq_length"的值,"seq_length"需要大于等于 --max-model-len的值。config.json存在模型
max_model_len is greater than the drived max_model_len 解决方法: 修改config.json文件中的"seq_length"的值,"seq_length"需要大于等于 --max-model-len的值。config.json存在模型
Traceback (most recent call last): File "train_net.py", line 1923, in <module> main_worker(args) File "train net.py", line 355, in main_ worker
法通过。 创建完成后,跳转至镜像详情页。 上传镜像文件 在镜像详情页,选择“镜像文件”页签。 单击“添加文件”,进入上传文件页面,选择本地的数据文件单击“点击上传”或拖动文件,单击“确认上传”启动上传。 上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery
Torch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。 Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTor
会在当前目录下生成.torchair_cache文件夹来保存图编译的缓存文件。当服务第二次启动时,可通过缓存文件来快速完成图编译的过程,避免长时间的等待,并且基于图编译缓存文件来启动服务可获得更优的推理性能,因此请在有图编译缓存文件的前提下启动服务。另外,当启动服务时的模型或者参数发生改变时,请删除