检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.911）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907）
使用SmoothQuant量化工具转换权重 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Noteboo
非分离部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好Server环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的Server和昇腾Snt9b资源。 安装过程需要连接互联网git
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
服务或微服务改名了，是否需要删除原来的服务/微服务，注册新的服务/微服务？ STS现在已经支持了自动感知业务服务、微服务改名的信息，会自动将服务名、微服务名变更为最新的服务名、微服务名，并保持密钥、敏感配置、ACL等信息不变。但并不是业务改名后立即就会感知到，会有一段同步时间，大约10-15分钟左右。
配置负载均衡OLC服务 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 新增资源 资源用于定义规则中要匹配的微服务名称和接口名称。如果需要对微服务下所有接口的请求总数进行限制，需要配置微服务资源；如果需要对某一个特定的接口的请求总数进行限制，则需要配置接口级资源。
导出OLC规则的IAC信息 由于OLC规则比较复杂，推荐在SLB管理台上配置好部分规则后导出IAC包，然后在导出的文件基础上进行修改。 使用IAC配置中心规则的功能只支持配置在SLB管理台创建的OLC服务，不支持在Cloud Map管理台创建的OLC服务。 导出IAC信息 进入AppStage运维中心。
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化
训练场景和方案介绍 Stable Diffusion（简称SD）是一种基于扩散过程的图像生成模型，应用于文生图场景，能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B开展SDXL和SD1.5模型的训
ib64/:${LD_LIBRARY_PATH} cd /usr/local/nginx/sbin ./nginx 父主题： 流媒体服务器搭建（可选）
当GaussDB中不存在已准备好的事务时，V$GLOBAL_TRANSACTION视图的PREPARECOUNT字段由NULL变为0。 父主题： 版本和平台兼容性
查询国家省市信息 服务对象 合作伙伴 场景描述 合作伙伴在伙伴销售平台可以查询省份信息、查询城市列表和查询区县列表。 相关API列表 开放接口 接口定义链接 查询省份信息 https://support.huaweicloud.com/api-bpconsole/mpf_02001
调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 访问在线服务 公网访问在线服务有以下认证方式，API调用请参见认证详情： 通过Token认证的方式访问在线服务
离线训练安装包准备说明 在华为公有云平台，申请的资源一般要求连通网络。因此用户在准备环境时可以运行 scripts/install.sh 直接下载安装资源，或通过 Dockerfile 下载安装资源并构建一个新的镜像。 若用户的机器或资源池无法连通网络，并无法git clone下
客户端向CSE发送HTTPS消息时，有校验证书吗？使用的根证书在哪里配置？ 当前CSE不会校验微服务的证书，根证书是调用公共组件psm生成的。 父主题： 应用开发问题
Java Chassis使用配置中心 Java Chassis使用以config-center命名的配置中心。 需要在项目中增加如下依赖： <dependency> <groupId>org.apache.servicecomb</groupId> <artifactId
在SLB中创建和管理负载均衡实例 在SLB中创建负载均衡实例 在SLB中配置SLB节点信息 在SLB中配置nginx.conf 在SLB中配置url重写/重定向 在SLB中配置内网段 在SLB中进行降级配置 在SLB中配置黑白名单 在SLB中进行限流配置 在SLB中配置负载均衡其他配置项
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
