检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"bits": 8, "group_size": -1, "desc_act": false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints
AuthTypeApiBasicInfo 参数 参数类型 描述 api_id String API编号。 api_method String 请求方式包含GET、POST、PUT、DELETE、HEAD、PATCH、OPTIONS、ANY，固定返回ANY。 api_name String
通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。 kubectl delete pod -n kube-system ${pod_scheduler_name}
映射规则：当前不支持CPU配置cache盘；GPU与昇腾资源为单卡时，cache目录保持500G大小限制；除单卡外，cache盘大小与卡数有关，计算方式为卡数*500G，上限为3T。详细表1所示。 表1 不同Notebook规格资源“/cache”目录的大小 规格类别 cache盘大小 GPU-0
通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。 kubectl delete pod -n kube-system ${pod_scheduler_name}
准备数据集，例如根据Alpaca数据部分给出的预训练数据集、SFT全参微调训练、LoRA微调训练数据集下载链接下载数据集。可通过两种方式，将数据集上传至SFS Turbo中。 方式一：将下载的原始数据通过SSH直接上传至SFS Turbo中。具体步骤如下： 进入到/mnt/sfs_turbo/目
准备数据集，例如根据Alpaca数据部分给出的预训练数据集、SFT全参微调训练、LoRA微调训练数据集下载链接下载数据集。可通过两种方式，将数据集上传至SFS Turbo中。 方式一：将下载的原始数据通过SSH直接上传至SFS Turbo中。具体步骤如下： 进入到/mnt/sfs_turbo/目
在“资产版本”填写新的版本号。 发布HiLens技能 表1 发布HiLens技能的参数说明 参数 说明 资产分类 选择“模型”。 发布方式 发布方式选择“创建新资产”。 资产标题 在AI Gallery显示的资产名称，建议按照您的实现目的设置。 来源 选择“HiLens”。 HiLens区域
准备数据集，例如根据Alpaca数据部分给出的预训练数据集、SFT全参微调训练、LoRA微调训练数据集下载链接下载数据集。可通过两种方式，将数据集上传至SFS Turbo中。 方式一：将下载的原始数据通过SSH直接上传至SFS Turbo中。具体步骤如下： 进入到/mnt/sfs_turbo/目
排序字段。可选值如下： create_time：根据创建时间排序 task_name：根据任务名称进行排序 sort_dir 否 String 排序方式。可选值如下： asc：按照升序排序 desc：默认值，按照降序排序 父主题： 标注任务管理
OME} 需要根据数据集模型等路径做对应替换，这里脚本适配的数据集是Firefly，其中deepspeed使用了zero 1显存优化方式，配置方式如下： { "fp16": { "enabled": "auto", "loss_scale":
参数类型 描述 peerConnectionList 否 Array of peerConnectionList objects Peer方式打通网络列表。 表7 peerConnectionList 参数 是否必选 参数类型 描述 peerVpcId 是 String 对端的VPC
SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm.sh脚本示例如下。 方式一：通过OpenAI服务API接口启动服务 （1）非多模态
通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。 kubectl delete pod -n kube-system ${pod_scheduler_name}
通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 kubectl get pod -A -o wide 重启该Pod，通过delete的方式删除，但随后会自动重新启动。 kubectl delete pod -n kube-system ${pod_scheduler_name}
根据规格情况合理使用数据盘，数据盘大小请参考训练环境中不同规格资源大小。 CPU过载 减少线程数。 排查办法 根据错误信息判断，报错原因来源于用户代码。 您可以通过以下两种方式排查： 线上环境调试代码（仅适用于非分布式代码） 在开发环境（notebook）申请相同规格的开发环境实例。 在notebook调试用户代码，并找出问题的代码段。
allery的资产在上传过程中，有可能会因为网络劫持、数据缓存等原因，存在数据不一致的问题。ModelArts提供通过计算SHA256值的方式对上传下载的数据进行一致性校验。 数据隔离机制 在ModelArts的开发环境中创建Notebook实例时，数据存储是按照租户隔离，租户之间互相看不到数据。
络资源。 config 是 Array of ServiceConfig objects 模型运行配置，当推理方式为batch/edge时仅支持配置一个模型；当推理方式为real-time时，可根据业务需要配置多个模型并分配权重，但多个模型的版本号不能相同。 additional_properties
图片大小限制不同，要求上传的图片大小不超过5MB。 解决方案： 方法1：使用导入功能。将图片上传至OBS任意目录，通过“从OBS目录导入”方式导入到已有数据集。 方法2：使用同步数据源功能。将图片上传到数据集输入目录下（或者其子目录），单击数据集详情页中的“同步数据源”将新增图片
定义策略操作和参数说明请参见创建自定义策略。 目前华为云支持可视化视图创建自定义策略和JSON视图创建自定义策略，本章节将使用JSON视图方式的策略，以为ModelArts用户授予开发环境的使用权限并且配置ModelArts用户OBS相关的最小化权限项为例，指导您进行自定义策略配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
