检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据处理任务的版本列表 功能介绍 查询数据处理任务的版本列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/processor-tasks
在训练作业详情页的左侧,可以查看此次训练作业的基本信息和算法配置的相关信息。 训练作业基本信息 表1 训练作业基本信息 参数 说明 “作业ID” 训练作业唯一标识。 “作业状态” 训练作业状态。
|── dev_pipeline.sh # 系列模型共同调用的多功能的脚本 |── install.sh # 环境部署脚本 |——src/
|── dev_pipeline.sh # 系列模型共同调用的多功能的脚本 |── install.sh # 环境部署脚本 |——src/
job_config job_config object 算法配置信息,如启动文件等。 resource_requirements Array of resource_requirements objects 算法资源约束,可不设置。
当配置指定IP后,则仅允许IP所在的客户端实现对Notebook的访问。
|── dev_pipeline.sh # 系列模型共同调用的多功能的脚本 |── install.sh # 环境部署脚本 |——src/
autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优
在“专属资源池扩缩容”页面,设置“资源配置 > 可用区”,可用区可选择“随机分配”和“指定AZ”。 选择随机分配时,扩缩容完成后,节点的可用区分布由系统后台随机选择。 选择指定AZ时,可指定扩缩容完成后节点的可用区分布。
INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小(单位KB)。 status String 镜像状态。
训练指导 Qwen系列(PyTorch)基于DevServer训练指导 GLM3-6B(PyTorch)基于DevServer训练指导 Baichuan3-13B(PyTorch)基于DevServer训练指导 推理参考文档: 主流开源大模型(PyTorch)基于DevServer推理部署
|── dev_pipeline.sh # 系列模型共同调用的多功能的脚本 |── install.sh # 环境部署脚本 |——src/
|── dev_pipeline.sh # 系列模型共同调用的多功能的脚本 |── install.sh # 环境部署脚本 |——src/
配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 权限问题
请求示例 如下以查询正在部署中的作业,按递增排序,显示第1页前10个可视化作业为例。 GET https://endpoint/v1/{project_id}/visualization-jobs ?
INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小(单位KB)。 status String 镜像状态。
用户下发训练作业、部署模型、使用开发环境实例等,均可以使用ModelArts提供的公共资源池完成,按照使用量计费,方便快捷。
baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b gemma-2b gemma-7b mistral-7b 说明: 当前版本不支持推理量化功能(W4A16,W8A8) 主流开源大模型(PyTorch)基于DevServer推理部署