检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS集群到计算集群之间的带宽达到了上限。 OBS集群的IOPS达到了上限。 解决方案 更改分析存储介质,例如使用更高性能的IO加速方案(SFS Turbo、EVS),如使用SFS Turbo加速,在投递作业时可以选择“IO加速”。 降低通量运行,进而降低带宽、IO需求,使得带宽、IO满足生产需求。 优化软
如何解决Roles with READONLY_USER或其他角色权限报错问题? 用户需要具有Tenant Administrator或VSS Administrator权限才能使用二进制成分分析相关业务,请分别联系具有Tenant Administrator或VSS Admin
账套批量授权给用户 ERP应用授权给用户后,可以将账套批量授权给多个用户。 使用企业管理员账号登录IMC管理后台。 单击业务管理-应用管理-单位应用管理,选择SparkPack 企业ERP-更多-字段授权,进入字段授权页面。 点击批量授权。 1、不要点击“删除数据源”,删除数据源
创建公共服务接口 前端页面支持通过页面创建的服务对象调用脚本,但是为了避免各种权限之间的配置,这里通过创建与脚本“HW__editEquipment”、“HW__queryEquipmentDetail”一一对应的公共接口,让页面直接调用这种公共接口。 操作步骤 在应用中,单击下方“服务”,进入公共接口创建页面。
预训练超参配置 本章节介绍预训练前的超参配置,可以根据实际需要修改。 预训练脚本baichuan2.sh,存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前,可以根据实际需要修改超参配置。 表1 超参配置
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama/Llama2、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务vLLM和华为自研昇腾S
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
附录:大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len
预训练任务 步骤1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题: 主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.907)
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.908)
准备工作 准备环境 准备代码 准备镜像环境 准备数据(可选) 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.909)
查询微服务实例详细信息 功能介绍 实例注册后可以根据service_id和instance_id获取该实例的详细信息。 URI GET /v4/{project_id}/registry/microservices/{service_id}/instances/{instance_id}
安装服务器 打开“服务器管理器”,选择“仪表板”,进入仪表板界面。 图1 仪表板页面 单击“添加角色和功能”,打开“添加角色和功能向导”窗口,根据向导指示,逐步单击“下一步”操作。 图2 开始之前 选择基于角色或基于功能的安装。 图3 选择安装类型 在服务器池中选择目标服务器。 图4
使用Keytab文件进行Session安全认证 功能简介 使用Keytab文件进行Session认证。 准备操作 登录FusionInsight Manager,选择“系统 > 权限 > 用户”,下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示,具体代码参见“com.huawei
锁定后,该站点所有页面将会被自动保存,并更新至最新版本。 在“常用”页签,配置页面的基本属性。 表1 页面常用配置 参数 参数说明 站点名 系统默认生成的站点名,不可修改。创建应用时,系统默认会创建并分配一个站点。 站点域名 站点的运行态域名。一般情况下不需要修改,如果您的站点有单独的CDN和域名,则可以在此修改域名。
逻辑。当选择该类型时,您需要配置具体的事件以及条件规则。 标签:新建服务编排的标签名,用于在界面展示。 名称:服务编排在系统中的唯一标识,创建后不支持修改。系统会自动在名称前添加“{命名空间}__”,当其他功能调用服务编排时,调用的是服务编排的名称,而不是标签。 描述:新建服务编
APP端待办页面地址,不传时默认双预控预置页面 taskExtendFieldList TaskExtendField 否 任务扩展属性列表,需要系统中存在该扩展属性 userId String 否 用户id,输入后替换上下文用户id taskExtendFieldList参数说明 参数
操作系统版本支持机制 同步机制 云容器引擎CCE发布的集群节点组件会随CCE集群版本发布定期更新。 操作系统重大漏洞修复:跟随集群补丁升级策略发布。 集群版本与操作系统对应关系 如下为当前已经发布的集群版本与操作系统版本的对应关系,请参考: 表1 弹性云服务器-虚拟机节点操作系统 操作系统