检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI Gallery（旧版） AI Gallery简介 免费资产和商用资产 入驻AI Gallery 我的Gallery介绍 订阅使用 发布分享 参加活动 合作伙伴 需求广场
JupyterLab插件故障 git插件密码失效如何解决？ 父主题： 开发环境（新版Notebook）
步骤1：申请开通资源规格 请联系华为云客户经理确认Server资源方案、申请要开通资源的规格（若无客户经理可提交工单）。 步骤2：资源配额提升 由于Server所需资源可能会超出华为云默认提供的资源（如ECS、EIP、SFS、内存大小、CPU核数），因此需要提升资源配额。
发布和管理AI Gallery数据集 托管数据集到AI Gallery 发布数据集到AI Gallery 管理AI Gallery数据集 父主题： AI Gallery（新版）
构建模型 自定义模型规范 自定义镜像规范 使用AI Gallery SDK构建自定义模型 父主题： 发布和管理AI Gallery模型
监控Lite Cluster资源 使用AOM查看Lite Cluster监控指标 使用Prometheus查看Lite Cluster监控指标 父主题： Lite Cluster资源管理
本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https
打开命令面板（Windows： Ctrl+Shift+P，macOS：Cmd+Shift+P），搜索“Kill VS Code Server on Host”，选择出问题的实例进行自动清除，然后重新进行连接。 图1 清除异常的实例 父主题： VS Code连接开发环境失败故障处理
获取路径：Support-E 如果没有软件下载权限，请联系您所在企业的华为方技术支持下载获取。
本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。
SD1.5&SDXL Diffusers框架基于Lite Server适配PyTorch NPU训练指导（6.3.908） 训练场景和方案介绍 准备镜像环境 Finetune训练 LoRA训练 Controlnet训练 父主题： 文生图模型训练推理
订阅使用 查找和收藏资产 订阅免费算法 订阅免费模型 下载数据 使用Notebook代码样例 使用镜像 使用AI案例 订阅Workflow 父主题： AI Gallery（旧版）
发布分享 发布免费算法 发布免费模型 发布数据 发布Notebook 父主题： AI Gallery（旧版）
参加活动 报名实践活动（实践） 发布技术文章（AI说） 父主题： AI Gallery（旧版）
需求广场 发布需求 父主题： AI Gallery（旧版）
上传文件至JupyterLab 上传本地文件至JupyterLab 克隆GitHub开源仓库文件到JupyterLab 上传OBS文件到JupyterLab 上传远端文件至JupyterLab 父主题： 通过JupyterLab在线使用Notebook实例进行AI开发
获取路径：Support-E 如果没有软件下载权限，请联系您所在企业的华为方技术支持下载获取。
maxPrefillBatchSize和maxPrefillTokens谁先达到各自的取值就完成本次组batch。 maxSeqLen：输入长度+输出长度的最大值。该值为maxInputTokenLen+maxIterTimes的和。
DeepSeek模型基于ModelArts Lite Server适配MindIE推理部署指导 方案概述 准备权重 部署推理服务 附录：rank_table_file.json文件 附录：config.json文件 附录：部署常见问题 父主题： DeepSeek系列模型推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
