-
物理机环境配置 - AI开发平台ModelArts
编辑“/etc/docker/daemon.json”文件内容,如果文件不存在则新建即可。 vim /etc/docker/daemon.json 增加如下两项配置,注意insecure-registries行末尾增加一个逗号,保持json格式正确。
-
部署为边缘服务 - AI开发平台ModelArts
文件名称为“atlas500_C32_Firmware.zip”。 解压“atlas500_C32_Firmware.zip”文件,打开Atlas500产品C32固件升级操作指导.doc文件,根据指导完成Atlas 500的固件升级操作。
-
更新开发环境实例信息 - AI开发平台ModelArts
access_modes 否 String 挂载文件的访问权限,支持读写和只读两种方式,仅type为“obsfs”类型,该字段有效。
-
进阶用法 - AI开发平台ModelArts
with_execution_id=True, create_dir=True) output_path = wf.data.OBSOutputConfig(obs_path = storage.join("directory_path")) # 注意,只能创建目录,不能创建文件
-
背景信息 - AI开发平台ModelArts
准备数据 本章所用示例的数据已预置在/home/ma-user/work/.ml-workspace/built-in-workflow/sales_forecast数据文件夹中,无须上传即可直接使用。如果需要在算链中使用其它数据,则需要在华为云OBS中创建桶并上传数据。
-
ModelArts - AI开发平台ModelArts
您需要编写对应的推理代码和配置文件,方便后续进行推理部署。 说明:由于使用预置算法训练得到的模型,已包含了推理代码和配置文件,所以无需另外编写提供。 模型包规范介绍 订阅模型 ModelArts支持统一管理从AI Gallery订阅模型,订阅的模型可以直接用于服务部署。
-
终止训练作业 - AI开发平台ModelArts
表28 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。
-
推理场景介绍 - AI开发平台ModelArts
支持的模型列表和权重文件 本方案支持vLLM的v0.3.2版本。不同vLLM版本支持的模型列表有差异,具体如表3所示。
-
Step4 使用调试成功的镜像用于推理部署 - AI开发平台ModelArts
apis定义中指定输入为文件,具体内容参见下面代码样例。
-
查询训练作业详情 - AI开发平台ModelArts
表27 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。
-
预训练任务 - AI开发平台ModelArts
训练的权重文件保存在此路径下。默认值为:/home/ma-user/ws。 Step2 启动训练脚本 请根据表1修改超参值后,再启动训练脚本。Llama2-70B建议为8机64卡训练。 多机启动 以Llama2-70B为例,多台机器执行训练启动命令如下。
-
创建训练作业 - AI开发平台ModelArts
表69 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。
-
验收团队标注任务结果 - AI开发平台ModelArts
完成验收 继续验收完成后,单击右上角“完成验收”在完成验收窗口,您可以查看本标注作业的验收情况,如抽样文件数等,同时设置如下参数,然后进行验收。只有完成验收,标注信息才会同步到标注作业的已标注页面中。 一旦标注数据完成验收,团队成员无法再修改标注信息,只有数据集创建者可修改。
-
部署在线服务 - AI开发平台ModelArts
file指每个推理请求对应到输入数据目录下的一个文件,当使用此方式时,此模型对应req_uri只能有一个输入参数且此参数的类型是file。
-
使用案例 - AI开发平台ModelArts
job_step输出的metric文件格式要求可参考作业类型节点部分,并且在Condition中只支持使用type为float类型的指标数据作为输入。
-
查询模型详情 - AI开发平台ModelArts
当模型是用户通过训练作业或OBS模型文件部署时,此值为空。 model_type String 模型类型,取值为:TensorFlow/MXNet/Spark_MLlib/Scikit_Learn/XGBoost/MindSpore/Image/PyTorch。
-
NPU Snt9B集合通信算子多机多卡性能测试指导 - AI开发平台ModelArts
确保设置的hostfile文件位于主节点中,且配置格式如下所示。
-
查看批量服务详情 - AI开发平台ModelArts
请勿打印无用的audio日志文件,这会导致系统日志卡死,无法正常显示日志,可能会出现“Failed to load audio”的报错。 您可以进入批量服务的详情页面,通过切换页签查看更多详细信息,详情说明请参见表2。
-
run.sh脚本测试ModelArts训练整体流程 - AI开发平台ModelArts
/bin/bash ##认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
-
查询训练作业列表 - AI开发平台ModelArts
表30 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。