检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载model_zoo相关数据 从以下5个链接下载model_zoo数据 https://huggingface.co/lmsys/vicuna-7b-v1.5 https://huggingface.co/lmsys/vicuna-13b-v1.5 https://storage.googleapis.c
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/
的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。
ModelLink中。 git clone https://gitee.com/ascend/ModelLink.git cd ModelLink git checkout 8f50777 cd .. git clone https://gitee.com/lmzwhu/Megatron-LM
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/
py会在cache中读取SimSun.ttf 文件，如果没有，就会联网下载，ModelArts作业在执行过程中可能不能请求网络，会遇到报错。 # 直接手动下载 https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/SimSun.ttf
"registry-mirrors":[ "https://docker.m.daocloud.io", "https://docker.jianmuhub.com", "https://huecker.io", "https://dockerhub.timeweb.cloud", "https://dockerhub1
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/
方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x
方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x
下载git lfs，用于下载git仓中的大文件。 由于欧拉源上没有git-lfs包，所以需要从压缩包中解压使用，在浏览器中输入如下地址下载git-lfs压缩包并上传到服务器的/home目录。 https://github.com/git-lfs/git-lfs/releases/download/v3
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/
方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x
方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x
所在的客户端实现对Notebook的访问。 dev_service String 支持的服务，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook SSH：可以通过SSH协议远程连接Notebook AI_FLOW MA_STUDIO TENSOR_BOARD
“S3_ENDPOINT=https://obs.region.myhuaweicloud.com” S3_VERIFY_SSL 访问OBS是否使用SSL。 “S3_VERIFY_SSL=0” S3_USE_HTTPS 访问OBS是否使用HTTPS。 “S3_USE_HTTPS=1” 表5 PIP源和API网关地址环境变量
所在的客户端实现对Notebook的访问。 dev_service String 支持的服务，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook SSH：可以通过SSH协议远程连接Notebook AI_FLOW MA_STUDIO TENSOR_BOARD
所在的客户端实现对Notebook的访问。 dev_service String 支持的服务，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook SSH：可以通过SSH协议远程连接Notebook AI_FLOW MA_STUDIO TENSOR_BOARD
像时，如遇到git下载代码出现以下类似的报错信息，关闭git验证即可。 报错信息： fatal: unable to access 'https://gitee.com/ascend/ModelLink.git/': error setting certificate verify
| grep net.ipv4.ip_forward Step2 下载模型包、依赖代码包和数据集并上传到宿主机 下载stable-diffusion-v1-5模型包并上传到宿主机上，官网下载地址：https://huggingface.co/benjamin-paine/stab
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
