检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
期的推理结果。 curl https://127.0.0.1:8080/${推理服务的请求路径} 推理部署示例 本节将详细说明以自定义引擎方式创建AI应用的步骤。 创建AI应用并查看AI应用详情 登录ModelArts管理控制台,进入“AI应用”页面中,单击“创建应用”,进入AI应用创建页面,设置相关参数如下:
mode='w') pd.read_hdf('obs://wolfros-net/hdftest.h5') 通过重写pandas源码API的方式,将该API改造成支持OBS路径的形式。 写h5到OBS = 写h5到本地缓存 + 上传本地缓存到OBS + 删除本地缓存 从OBS读h5
fest文件。 导入为目录时,目前仅支持数据集类型为图片分类、物体检测、文本分类、声音分类。 import_type Integer 导入方式。可选值如下: 0:目录导入 1:按manifest文件导入 imported_sample_count Long 已导入的样本数量。 i
Notebook可以视作是本地PC的延伸,均视作本地开发环境,其读取数据、训练、保存文件等操作与常规的本地训练一致。 对于习惯使用本地IDE的开发者,使用远程开发方式,不影响用户的编码习惯,并且可以方便快捷的使用云上的Notebook开发环境。 本地IDE当前支持VS Code、PyCharm、SSH工具。还有专门的插件PyCharm
请参见训练tokenizer文件说明。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 若镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
请参见训练tokenizer文件说明。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 若镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
用awq、smoothquant或者gptq加载的量化权重,根据量化方式选择对应参数,可选awq,smoothquant,gptq。 distributed_executor_backend是开启多进程服务方式,选择ray开启。 model:模型启动模式,可选vllm,opena
publish_at Number 服务最新的发布时间,距“1970.1.1 0:0:0 UTC”的毫秒数。 infer_type String 推理方式,取值包含: real-time:在线服务 batch:批量服务 edge: 边缘服务 workspace_id String 工作空间ID。
Turbo)。 “云上挂载路径”:默认为/home/ma-user/work/。 “子目录挂载”:选择SFS Turbo的存储位置。 “挂载方式”:当用户配置了文件夹控制权限,则显示此参数。根据SFS Turbo存储位置的权限显示“读写”或“只读”。 选择“对象存储服务OBS”或“并行文件系统PFS”作为存储位置。
图1 包年/包月资源生命周期 到期预警 包年/包月资源池在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月资源池到期未续费,首先会进入宽限期,资源状态变为“已过期”。宽限期内您可以正常访问
文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 若镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
购买ECS ECS服务器挂载SFS Turbo ECS服务器中手动挂载SFS Turbo步骤如下: 用户可通过CloudShell或SSH等方式登录并访问ECS服务器,进入ECS终端界面。创建/mnt/sfs_turbo目录作为挂载目录 ,命令为:mkdir /mnt/sfs_turbo。
可选的范围为[1,100]。 page 否 Integer 指定要查询页的索引,默认为1。 sortBy 否 String 指定查询的排序方式,默认是根据引擎查找“engine”,目前支持的排序还有模型名称“model_name”,“model_precision”模型用途“mo
统安装错误。需要重新纳管机器,重新安装操作系统。 安装nerdctl工具。nerdctl是containerd的一个客户端命令行工具,使用方式和docker命令基本一致,可用于后续镜像构建步骤中。 # 下载 nerdctl 工具,注意使用的是1.7.6 arm64版本 wget https://github
文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
Standard的Workflow是一套低代码的AI开发流水线工具,覆盖数据标注、数据处理、模型开发、训练、模型评估、部署上线等步骤,提供可视化的工作流运行方式。具体请参见什么是Workflow。 Standard的开发环境Notebook提供了云上JupyterLab环境和本地IDE插件,方便用