检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
subscriptable”。 原因分析 根据报错日志分析，是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码中的x[0][i]修改为x[i]，重新部署服务进行预测。 父主题： 服务预测
TCP/IP端口。 Oracle 1521 Oracle通信端口，弹性云服务器上部署了Oracle SQL需要放行的端口。 MySQL 3306 MySQL数据库对外提供服务的端口。 Windows Server Remote Desktop Services 3389 Wind
1）若本地已有权重，请将MODEL_ID修改为权重路径； MODEL_ID = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct" 2）若量化Deepseek-V2-236B模型，请将num_gpus改为8； device_map = calc
1）如果本地已有权重，请将MODEL_ID修改为权重路径； MODEL_ID = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct" 2）如果量化Deepseek-V2-236B模型，请将num_gpus改为8； device_map = cal
1）若本地已有权重，请将MODEL_ID修改为权重路径； MODEL_ID = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct" 2）若量化Deepseek-V2-236B模型，请将num_gpus改为8； device_map = calc
该把U改成小写，所以导致训练作业的环境没有装上unidecode模块。 处理方法 将requirements.txt中的Unidecode改为unidecode。 建议与总结 您可以在训练代码里添加一行： os.system('pip list') 然后运行训练作业，查看日志中是否有所需要的模块。
ctory 下修改启动脚本，其中{work_dir}为容器挂载路径；修改demo.sh 最后一行代码： 将demo.yaml配置文件路径修改为自己实际绝对路径:{work_dir}/llm_train/LLaMAFactory/demo.yaml，例如将以下命令： FORCE_TORCHRUN=1
5版本，若非该版本号则在代码开始处执行： import os os.system('pip install numpy==1.18.5') 如果依旧有报错情况，将以上代码修改为： import os os.system('pip install numpy==1.18.5') os.system('pip install
torch_2_2_ascend:20241106 构建镜像前需保证Dockerfile文件内容中镜像名与本文档镜像保持一致，如不同则需修改为一致。 # 修改以下内容： FROM swr.cn-southwest-2.myhuaweicloud.com/atelier/xxx 父主题：
torch_2_2_ascend:20241106 构建镜像前需保证Dockerfile文件内容中镜像名与本文档镜像保持一致，如不同则需修改为一致。 # 修改以下内容： FROM swr.cn-southwest-2.myhuaweicloud.com/atelier/xxx 父主题：
给委托添加授权 将镜像设置成私有镜像 登录容器镜像服务（SWR），左侧导航栏选择“我的镜像”，查看镜像详情，单击右上角“编辑”按钮，把镜像类型修改为“私有”。 图4 修改镜像类型为私有 父主题： 模型管理
修改“requirements.txt”中的onnx版本，改为“onnx>=1.12.0”。 将“yolox/data/datasets/coco.py”第59行的“data_dir = os.path.join(get_yolox_datadir(), "COCO")”改为“data_dir = '/home/ma-user/coco'”。
Factory下修改启动脚本，其中{work_dir}为容器挂载路径；修改demo.sh最后一行代码： 将demo.yaml配置文件路径修改为自己实际绝对路径:{work_dir}/llm_train/LLaMAFactory/demo.yaml，例如将以下命令： FORCE_TORCHRUN=1
libgoogle-glog-dev liblmdb-dev libatlas-base-dev librdmacm1 libcap2-bin libpq-dev mysql-common net-tools nginx openslide-tools openssh-client openssh-server
py”复制到该目录下，名称改为“pipeline_onnx_stable_diffusion_img2img_mslite.py”，以便与源文件名称区分。但是这样也会导致无法正确找到源码中相对路径下的依赖，需要将对于diffusers包内的相对路径修改为绝对路径的形式。 图1 代码依赖修改前与修改后
sh，脚本里面有某些环境变量在新版本下发的作业中并不存在这些环境变量导致。 可能原因是使用Python file接口并发读写同一文件。 处理方法 对挂载盘的数据加权限，可以改为与训练容器内相同的用户组（1000），假如/nas盘是挂载路径，执行如下代码。 chown -R 1000：1000 /nas 或者 chmod
将训练启动脚本中的“NODE_RANK="$VC_TASK_INDEX"”修改为“NODE_RANK="$RANK_AFTER_ACC"”。 将训练启动脚本中的“MASTER_ADDR="${VC_WORKER_HOSTS%%,*}"”修改为“MASTER_ADDR="${MA_VJ_NAME}-$
json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3
需要去掉模型文件目录下存在dockerfile文件。 图2 构建日志：dockerfile文件目录有问题 pip软件包版本不匹配，需要修改为日志中打印的存在的版本。 图3 pip版本不匹配 构建日志中出现报错：“exec /usr/bin/sh: exec format error”。
json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
