检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
失败原因。 config 不同infer_type的config结构数组 不同infer_type的config结构数组 服务配置(如果是共享过来的服务,只返回model_id ,model_name,model_version) access_address String 推理
app_type String APP类型。枚举值如下: APIC:该APP注册在roma connect网关上 APIG:该APP注册在共享API网关上 DEDICATE_APIG:该APP注册在专享API网关上 bounded_api_count Integer APP绑定API数量。
tokenizers/Llama2-70B 多机情况下,只有在rank_0节点进行数据预处理,转换权重等工作,所以原始数据集和原始权重,包括保存结果路径,都应该在共享目录下。 父主题: 准备工作
为例,修改多机config.yaml模板中的${command}命令如下。多机启动需要在每个节点上执行。MASTER_ADDR为当前ssh远程主机的IP地址(私网IP)。 # 多机执行命令为:ascendfactory-cli train <cfgs_yaml_file> <model_name>
应的所有存储资源。 通过运行的实例保存成容器镜像 运行的实例可以保存成容器镜像,保存的镜像中,安装的依赖包(pip包)不丢失,VSCode远程开发场景下,在Server端安装的插件不丢失。 查询支持的有效规格列表 查询支持的有效规格列表。 查询支持可切换规格列表 查询Notebook实例可切换的规格列表。
机视觉和推荐系统等。它使得AI系统能够更加灵活和适应性强,更好地应对现实世界中不断变化的数据环境。 ModelArts Standard中如何实现增量训练 增量训练是通过Checkpoint机制实现。 Checkpoint的机制是:在模型训练的过程中,不断地保存训练结果(包括但不
建议您前往OBS服务,了解OBS计费详情,创建相应的OBS桶用于存储ModelArts使用的数据。 ModelArts标注完样本集后,如何保证退出后不再产生计费? 标注样本集本身不计费,数据集存储在OBS中,收取OBS的费用。建议您前往OBS控制台,删除存储的数据和OBS桶,即可停止收费。
多数场景下的问题可以通过日志报错信息直接定位。如果日志的信息不能定位问题,您可以通过设置环境变量调整日志等级,打印更多调试日志。 关于如何对MindSpore Lite遇到的问题进行定位与解决,请参见MindSpore Lite官网提供的问题定位指南。 父主题: 常见问题
文件大小、上传进度及速度等详细信息。 对于大小超过100MB不超过50GB的文件可以使用OBS中转,系统先将文件上传OBS(对象桶或并行文件系统),然后从OBS下载到Notebook,上传完成后,会将文件从OBS中删除。 50GB以上的文件上传通过调用ModelArts SDK或者Moxing完成。
app_type String APP类型。枚举值如下: APIC:该APP注册在roma connect网关上 APIG:该APP注册在共享API网关上 DEDICATE_APIG:该APP注册在专享API网关上 bounded_api_count Integer APP绑定API数量。
Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。
Keras是一个用Python编写的高级神经网络API,它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本 在ModelArts管理控制台,创建一个Notebook实例,镜像选择“TensorFlow-1.13”或“TensorFlow-1
本文介绍开发环境场景下子账号所需的基本使用权限,您可参考权限清单新增对应业务场景的权限。示例场景为授权子账号使用Notebook进行调试,数据和代码存放在并行文件系统。以下内容需使用管理账号进行配置。 权限清单 权限 表1 开发环境所需权限 业务场景 依赖的服务 依赖策略项 支持的功能 配置建议 开发环境实例生命周期管理
duler访问P、D实例时走不必要的网关。 前提条件 已完成推理环境镜像制作,具体参见准备推理环境。 步骤一:生成ranktable 介绍如何生成ranktable,以1p1d-tp2分离部署模式为例。当前1p1d分离部署模式,全量节点和增量节点分别占用2张卡,一共使用4张卡。 配置tools工具根目录环境变量
池,需配置cluster_id或pool_name两个参数中任意一个,且pool_name优先级高于cluster_id,均不配置时则使用共享资源池,当与下方 config中的cluster_id或pool_name同时配置时,优先使用config中的cluster_id及poo
项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 图1 单个续费 批量续费:在资源页面勾选
py编写指导请见模型推理代码编写说明)。 确认该cuda版本与您安装的mmcv版本是否匹配。 部署时是否需要使用GPU,取决于的模型需要用到CPU还是GPU,以及推理脚本如何编写。 父主题: 服务部署
Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。
Summary文件先上传到OBS并行文件系统,并确保OBS并行文件系统与ModelArts在同一区域。在Notebook中启动MindInsight时,Notebook会自动从挂载的OBS并行文件系统目录中读取Summary数据。 Step3 启动MindInsight 在开发环
生的Summary文件先上传到OBS并行文件系统,并确保OBS并行文件系统与ModelArts在同一区域。在Notebook中启动TensorBoard时,Notebook会自动从挂载的OBS并行文件系统目录中读取Summary数据。 Step3 启动TensorBoard 在开