检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）进行数据存储以及模型的备份和快照，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以
创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）进行数据存储以及模型的备份和快照，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以
sh脚本的内容可以参考如下示例： #!/bin/bash ##认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 ##本示例以AK和SK保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HU
AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingface开源社区获取AWQ量化后
AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel, W8A16 per-channel
GPU A系列裸金属服务器RoCE带宽不足如何解决？ 问题现象 GP Ant8支持RoCE网卡， Ubuntu20.04场景，在进行nccl-tests时，总线带宽理论峰值可达90GB/s，但实际测试下来的结果只有35GB/s。 原因分析 “nv_peer_mem”是一个Linu
创建新版Notebook无法使用已购买的专属资源池，如何解决？ 问题现象 已购买专属资源池，但创建Notebook时该资源池不可选择，无法创建Notebook。 提示当前专属资源池未初始化开发环境，请到专属资源池页面初始化开发环境。 原因分析 新购买的专属资源池，需要初始化环境才能用于创建Notebook。
保存镜像时报错“too many layers in your image”如何解决？ 问题现象 保存镜像时报错“too many layers in your image”。 原因分析 用户创建Notebook时所选用的镜像是经过多次保存的自定义镜像或用户自行注册的镜像，基于该
'。 原因分析 从日志报错信息No CUDA runtime is found分析，是cuda runtime没有找到。 处理方法 建议您按以下步骤排查处理： 确认部署在线服务时是否选择了GPU规格。 在customize_service.py中添加一行代码os.system('nvcc
LoRA，本文档主要支持全参数（Full）和LoRA、LoRA+。 LoRA(Low-Rank Adaptation)： 这种策略主要针对如何在保持模型大部分参数固定的同时，通过引入少量可训练参数来调整模型以适应特定任务。 LoRA+(Efficient Low Rank Adaptation
创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以
创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以
数据存储 如何对OBS的文件重命名？ Notebook停止或者重启后，“/cache”下的文件还存在么？如何避免重启？ 如何使用pandas库处理OBS桶中的数据？ 在Notebook中，如何访问其他账号的OBS桶？ JupyterLab默认工作路径是什么？ 父主题： Standard
灵活的超时配置；当负载异常重启，模型需要重新加载，服务恢复时间长的问题亟待解决。 为了应对如上诉求，ModelArts推理平台针对性给出解决方案，用于支持大模型场景下的AI应用管理和服务部署。 约束与限制 需要申请单个AI应用大小配额和添加使用节点本地存储缓存的白名单。 需要使用自定义引擎Custom，配置动态加载。
显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel, W8A16 per-channel
AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16 per-channel Step1
从DWS导入数据到ModelArts数据集 ModelArts支持从DWS导入表格数据，用户需要选择对应的DWS集群，并输入需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。DWS的详细功能说明，请参考DWS用户指南。 图1 从DWS导入数据
本文为用户提供如何将本地的自定义算法通过简单的代码适配，实现在ModelArts上进行模型训练与部署的全流程指导。 场景描述 本案例用于指导用户使用PyTorch1.8实现手写数字图像识别，示例采用的数据集为MNIST官方数据集。 通过学习本案例，您可以了解如何在ModelAr
训练作业的启动文件如何获取训练作业中的参数？ 训练作业参数有两种来源，包括后台自动生成的参数和用户手动输入的参数。具体获取方式如下： 创建训练作业时，“输入”支持配置训练的输入参数名称（一般设置为“data_url”），以及输入数据的存储位置，“输出”支持配置训练的输出参数名称（
在ModelArts创建分布式训练时如何设置NCCL环境变量？ ModelArts训练平台预置了部分NCCL环境变量，如表1所示。这些环境变量建议保持默认值。 表1 预置的环境变量 环境变量 说明 NCCL_SOCKET_IFNAME 指定通信的网卡名称。 NCCL_IB_GID_INDEX
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
