检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 购买共享存储硬盘资源（多机训练场景）
能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 购买共享存储硬盘资源（多机训练场景）
发布和管理AI Gallery数据集 托管数据集到AI Gallery 发布数据集到AI Gallery 管理AI Gallery数据集 父主题： AI Gallery（新版）
能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 购买共享存储硬盘资源（多机训练场景）
构建模型 自定义模型规范 自定义镜像规范 使用AI Gallery SDK构建自定义模型 父主题： 发布和管理AI Gallery模型
Gallery数字内容发布协议》和《华为云AI Gallery服务协议》”。 图2 发布AI Gallery Notebook 界面提示成功创建分享后，返回至AI Gallery，进入示例的详情页面查看示例。 进入AI Gallery首页。选择“项目”，进入项目列表页面。 在搜索框中输入创建好的Notebook名称，单击页签进入详情页。
libnccl2 2.14.3 nccl-test v.2.13.6 docker 20.10.23 RoCE路由配置 支持 GP Vnt1裸金属服务器支持的镜像详情 Vnt1规格在北京四、北京一和上海一虽然规格相同，但是产品的配置、发布时间都存在很大差异，因此镜像不能共用。 镜像名称：Ubuntu-18
资产申请审核”页面，可以查看当前支持使用该模型的用户列表。 管理用户可用资产的权限。 模型发布成功后，模型所有者可以管理资产的用户申请 。 登录AI Gallery，单击右上角“我的Gallery”进入我的Gallery页面。 选择“我的资产 > 模型”，在“我创建的模型”页面找到待修改的“已发布”状态的模型，单击模型页签进入详情页。
Megatron-DeepSpeed是一个基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具：Megatron-LM和DeepSpeed，可在具有分布式计算能力的系统上进行训练，并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 Megatron-LM是
模型输出进行可对比的误差分析（精度）。 模型自动调优工具 AOE（Ascend Optimization Engine）是一个昇腾设备上模型运行自动调优工具，作用是充分利用有限的硬件资源，以满足算子和整网的性能要求。在推理场景下使用，可以对于模型的图和算子运行内置的知识库进行自动优化，以提升模型的运行效率。
SSE主要解决了客户端与服务器之间的单向实时通信需求（例如ChatGPT回答的流式输出），相较于WebSocket（双向实时），它更加轻量级且易于实现。 前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。
arams.json”中的参数，否则配置的参数将无法在推理过程中生效。 “inference_params.json”文件的参数请参见表4。该参数会显示在部署推理服务页面，在“高级设置”下会新增“参数设置”，基于配置的推理参数供模型使用者修改自定义镜像的部署参数。 表4 自定义推理参数说明
Integer 资源规格的弹性使用量，物理池该值和count相同。 azs Array of azs objects 资源所在的AZ的数量。 nodePool String 节点池名称。比如：nodePool-1。 表14 azs 参数 参数类型 描述 az String AZ的名称。 count
语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，
语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，
任务，导致数据缺失。 当模型的“任务类型”是除“文本问答”和“文本生成”之外的类型（即自定义模型）时，上传的模型文件要满足自定义模型规范，否则该模型无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当托管的是自定义镜像时，上传的模型文件要满足自定义镜像规范，否则该镜像无法正常使用AI
Gallery除了支持托管文本生成和文本问答任务类型的模型，还支持托管其他任务类型的模型，其他任务类型的模型被称为自定义模型。但是托管的自定义模型要满足规范才支持使用AI Gallery工具链服务（微调大师、在线推理服务）。 自定义模型的使用流程 托管模型到AI Gallery。 模型基础设置里的“任务类型”选择除“文本问答”和“文本生成”之外的类型。
Studio左侧导航栏中，选择“模型部署”进入服务列表。 选择“我的服务”页签。 单击服务名称，进入部署模型服务详情页面，可以查看服务信息。 “详情”：可以查看服务的基本信息，包括服务、模型、资源等设置信息。 “监控”：可以查看服务监控和资源监控信息。 “算力利用率”表示每分钟NPU的平均使用率，当请求率较低时，使用率会显示为0。
GPU A系列裸金属服务器如何更换NVIDIA和CUDA？ 场景描述 当裸金属服务器预置的NVIDIA版本和业务需求不匹配时，需要更换NVIDIA驱动和CUDA版本。本文介绍华为云A系列GPU裸金属服务器（Ubuntu20.04系统）如何从“NVIDIA 525+CUDA 12.0”更换为“NVIDIA
运行完成后，会在output_dir下生成量化后的权重。量化后的权重包括原始权重和kvcache的scale系数。 Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
