检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1。 在ModelArts官方提供的基础镜像上,构建一个用于ModelArts Standard推理部署的镜像。 在模型软件包和依赖包的同层目录下,创建并编辑Dockerfile。 vim Dockerfile Dockerfile内容如下: FROM swr.cn-southwest-2
config.gpu_options.allow_growth = True config.gpu_options.visible_device_list = '0' with tf.Session(graph=tf.Graph(), config=config) as
全参微调:直接在模型上训练,影响模型全量参数的微调训练,效果较好,收敛速度较慢,训练时间较长。 LoRA微调:冻结原模型,通过往模型中加入额外的网络层,并只训练这些新增的网络层参数,效果接近或略差于全参训练,收敛速度快,训练时间短。 参见表3 调优后的模型名称 设置调优后产生的新模型的名称。 参见表3
准备镜像 准备大模型推理适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
2019年9月15日期间的样本。 score String 根据置信度筛选。 slice_thickness String DICOM层厚,通过层厚筛选样本。 study_date String DICOM扫描时间。 time_in_video String 视频中某个时间。 表12
2019年9月15日期间的样本。 score String 根据置信度筛选。 slice_thickness String DICOM层厚,通过层厚筛选样本。 study_date String DICOM扫描时间。 time_in_video String 视频中某个时间。 表11
配置Lite Server存储 Server服务器支持SFS、OBS、EVS三种云存储服务,提供了多种场景下的存储解决方案,主要区别如下表所示。若需要对本地盘进行配置,请参考物理机环境配置。 表1 表1 SFS、OBS、EVS服务对比 对比维度 弹性文件服务SFS 对象存储服务OBS
ok实例后,确认不使用EVS就及时删除数据,释放资源,避免产生费用。 Notebook中保存的镜像大小不超过35G,镜像层数不能超过125层。否则镜像会保存失败。 Standard训练作业 训练日志仅保留30天,超过30天会被清理。如果用户需要永久保存日志,请在创建训练作业时,打
准备镜像 准备大模型训练适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像 swr
建议通过开源的官方镜像来构建,例如PyTorch的官方镜像。 建议容器分层构建,单层容量不要超过1G、文件数不大于10w个。分层时,先构建不常变化的层,例如:先OS,再cuda驱动,再Python,再pytorch,再其他依赖包。 不建议把数据、代码放到容器镜像里。因为对应内容应该是经常变动的,会导致频繁地容器镜像构建操作。
ModelArts imageNet 1.0:目录方式,只支持单标签 相同标签的图片放在一个目录里,并且目录名字即为标签名。当存在多层目录时,则以最后一层目录为标签名。 示例如下所示,其中Cat和Dog分别为标签名。 dataset-import-example ├─Cat │ 10
年9月15日期间的样本。 score 否 String 根据置信度筛选。 slice_thickness 否 String DICOM层厚,通过层厚筛选样本。 study_date 否 String DICOM扫描时间。 time_in_video 否 String 视频中某个时间。
2019年9月15日期间的样本。 score String 根据置信度筛选。 slice_thickness String DICOM层厚,通过层厚筛选样本。 study_date String DICOM扫描时间。 time_in_video String 视频中某个时间。 表6
2019年9月15日期间的样本。 score String 根据置信度筛选。 slice_thickness String DICOM层厚,通过层厚筛选样本。 study_date String DICOM扫描时间。 time_in_video String 视频中某个时间。 表8
建议通过开源的官方镜像来构建,例如PyTorch的官方镜像。 建议容器分层构建,单层容量不要超过1G、文件数不大于10w个。分层时,先构建不常变化的层,例如:先OS,再cuda驱动,再Python,再pytorch,再其他依赖包。 如果训练数据和代码经常变动,则不建议把数据、代码放到容器镜像里,避免频繁地构建容器镜像。
建议通过开源的官方镜像来构建,例如PyTorch的官方镜像。 建议容器分层构建,单层容量不要超过1G、文件数不大于10w个。分层时,先构建不常变化的层,例如:先OS,再cuda驱动,再Python,再pytorch,再其他依赖包。 如果训练数据和代码经常变动,则不建议把数据、代码放到容器镜像里,避免频繁地构建容器镜像。