检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题: 主流开源大模型基于Lite Server适配ModelLink
数据集标注相关的配置信息 是 LabelTaskProperties title title信息,主要用于前端的名称展示 否 str description 数据集标注节点的描述信息 否 str policy 节点执行的policy 否 StepPolicy depend_steps 依赖的节点列表
解除API对APP的授权 获取API授权关系列表 创建API 查询API 查询API和APP 查询APP的API认证信息 查询APP是否存在
训练作业 创建训练作业 训练作业调测 查询训练作业列表 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练日志 查询训练作业的运行指标 父主题: 训练管理
方式二:使用AutoAWQ量化工具进行量化。 1、运行“examples/quantize.py”文件进行模型量化,量化时间和模型大小有关,预计30分钟~3小时。 pip install transformers==4.41.0 # AutoAWQ未适配transformers 4.42以上 python examples/quantize
仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 父主题: 准备工作
访问方式 在BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在BMS中挂载使用,不能被操作系统应
Notebook实例保存为镜像,将准备好的环境保存下来,可以作为自定义镜像,方便后续使用,并且方便进行分享。 保存镜像时,安装的依赖包(pip包)不丢失,VS Code远程开发场景下,在Server端安装的插件不丢失。 亮点特性3:预置镜像 - 即开即用,优化配置,支持主流AI引擎
创建/mnt/sfs_turbo目录作为挂载目录 ,命令为:mkdir /mnt/sfs_turbo。 单击用户创建的SFS Turbo,查看基本信息图4,找到并复制挂载命令。 在ECS的终端中粘贴SFS Turbo挂载命令,完成挂载。 挂载完成后,可通过后续的步骤获取到代码和数
模型管理 模型调试 导入模型 查询模型列表 查询模型对象列表 查询模型详情 删除模型
AI应用管理 查询模型runtime 查询AI应用列表 创建AI应用 查询AI应用详情 删除AI应用
工作空间管理 查询工作空间详情 修改工作空间 删除工作空间 查询工作空间配额 修改工作空间配额 查询工作空间列表 创建工作空间
type 否 String 参数的类型,枚举值如下: str:字符串 int:整型 bool:布尔类型 float:浮点型 description 否 String Workflow工作流配置参数的描述。 example 否 Object Workflow工作流配置参数的样例。
介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题: 主流开源大模型基于S
节点池管理 查询节点池列表 创建节点池 查询指定节点池详情 更新节点池 删除节点池 查询节点池的节点列表
创建/mnt/sfs_turbo目录作为挂载目录 ,命令为:mkdir /mnt/sfs_turbo。 单击用户创建的SFS Turbo,查看基本信息图4,找到并复制挂载命令。 在ECS的终端中粘贴SFS Turbo挂载命令,完成挂载。 挂载完成后,可通过后续的步骤获取到代码和数
obs:object:DeleteObject √ √ 查询数据集的统计信息 GET /v2/{project_id}/datasets/{dataset_id}/data-annotations/stats modelarts:dataset:get - √ √ 查询数据集监控数据 GET /v2/{
介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题: 主流开源大模型基于S
停止服务”即可停止推理服务,节约资源成本。 查看推理效果 当推理服务处于“运行中”时,在服务列表单击操作列的“更多 > 服务详情”,在弹窗中选择“指标效果”页签,可以查看推理效果。 支持设置时间区间,查看不同时间下的推理效果。 仅当推理服务处于“运行中”,才支持查看监控指标。 表2 推理效果的指标介绍