检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# 工具代码目录 ├── accuracy.py #精度测试脚本 ├── common_utils.py #获取训练日志工具 ├── performance.py #性能测试脚本 ├── trainer.py #训练启动脚本
{project_id}/notebooks/{id} modelarts:notebook:update - √ √ 删除开发环境实例 DELETE /v1/{project_id}/notebooks/{id} modelarts:notebook:delete - √ √ 启动新版开发环境实例
custom_script_path String Notebook启动时的自定义初始化脚本路径。 extend_storage Array<Storage> 扩展存储列表,如表4所示。扩展存储当前仅支持type为“obsfs”的类型,且仅对部分专属资源池开放。
duration 否 Integer 运行时长,单位为秒,取值范围为3600-86400,该参数配置之后,每次启动均有效。如果enable为true时,该参数是必须的。
CREATE_FAILED: 创建失败; CREATING: 创建中; DELETED: 已删除; DELETE_FAILED: 删除失败; DELETING: 删除中; ERROR: 错误; RUNNING: 运行中; STARTING: 启动中; START_FAILED: 启动失败
CREATE_FAILED: 创建失败; CREATING: 创建中; DELETED: 已删除; DELETE_FAILED: 删除失败; DELETING: 删除中; ERROR: 错误; RUNNING: 运行中; STARTING: 启动中; START_FAILED: 启动失败
建议完善数据后,再启动训练。 数据集文件有以下限制: 如果您使用2u8g规格,测试建议数据集文件应小于10MB。当文件大小符合限制要求,如果存在极端的数据规模(行数列数之积)时,仍可能会导致训练失败,建议的数据规模低于10000。
启动推理服务后,可用于搭建大模型问答助手。
子账号启动其他用户的SSH实例 子账号可以看到所有用户的Notebook实例后,如果要通过SSH方式远程连接其他用户的Notebook实例,需要将SSH密钥对更新成自己的,否则会报错ModelArts.6786。更新密钥对具体操作请参见修改Notebook SSH远程连接配置。
目前支持vllm.openai,atb的tgi模板 ├── ... ├── eval_test.py # 启动脚本,建立线程池发送请求,并汇总结果 ├── service_predict.py # 发送请求的服务
子账号启动其他用户的SSH实例 子账号可以看到所有用户的Notebook实例后,如果要通过SSH方式远程连接其他用户的Notebook实例,需要将SSH密钥对更新成自己的,否则会报错ModelArts.6786。更新密钥对具体操作请参见修改Notebook SSH远程连接配置。
00000-of-00001-a09b74b3ef9c3b56.parquet # 训练原始数据集 |── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具,具体命令可参考
该目录会在命令执行后打印出来,示例如下: 1 Successfully upload file /home/ma-user/work/tensorflow_mlp_mnist_local_mode/train/model to OBS modelarts-cn-north-4-08aae033
单击“添加文件”,进入上传文件页面,选择本地的数据文件单击“点击上传”或拖动文件,单击“确认上传”启动上传。 上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。
这5个阶段分别是构建镜像、准备环境、调度资源、拉取镜像、启动模型。 occur_time Number 事件发生时间,距“1970.1.1 0:0:0 UTC”的毫秒数。
建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,工作负载创建失败。 storage_type 否 String 挂载类型sfs_turbo极速文件系统挂载。
可选值如下: true:发布时启动特征分析任务 false:发布时不启动特征分析任务(默认值) status Integer 数据集版本状态。
启动失败 DELETE_FAILED:删除失败 ERROR:错误 DELETED:已删除 FROZEN:冻结 token String Notebook鉴权使用的token信息。
可选值如下: Enabling:启动中 Enabled:已启动 Disabling:关闭中 Disabled:已关闭 表17 driver 参数 参数类型 描述 gpu PoolDriverStatus object GPU驱动信息。
运行命令示例: 1. python ExcelToJson.py --user_id=001 --excel_addr=xxx.xlsx(.csv) --dataset_name=example --test_count=3 2. python ExcelToJson.py --user_id