检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建AI应用时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会拷贝到镜像中去。拷贝进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入AI应用时，ModelArts会将指定的OBS目录下的所有文件和文件夹拷贝到镜像中的指定路径下，镜像内路径可以通过self.model_path获取。
图1 获取训练输出位置 单击“输出路径”，跳转至OBS对象路径，下载训练得到的模型。 在本地环境进行离线部署。 具体请参见模型调试章节在本地导入模型，参见服务调试章节，将模型离线部署在本地并使用。 父主题： 功能咨询
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b
w保存summary可能是本地缓存，在每次触发flush时将该summary文件覆盖OBS上的原文件。当超过5GB后，由于达到了OBS单次导入文件大小的上限，导致无法继续写入。 处理方法 如果在运行训练作业的过程中出现该问题，建议处理方法如下： 推荐使用本地缓存的方式来解决，使用如下方法：
查看专属资源池磁盘信息 创建AI应用 使用大模型创建AI应用，选择从对象存储服务（OBS）中导入，需满足以下参数配置： 采用自定义引擎，开启动态加载 使用大模型要求用户使用自定义引擎，并开启动态加载的模式导入模型。用户可以制作自定义引擎，满足大模型场景下对镜像依赖包、推理框架等的特殊需求。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b
bf16，配置以下参数 bf16: true fp16，配置以下参数 fp16: true 是否使用自定义数据集 是，参考准备数据（可选）后，填写自定义注册后数据集前缀名称及数据集绝对路径，参考表1dataset_dir行，如demo.json数据集前缀则为demo dataset: demo
果不符合预期。 建议与总结 鉴于模型服务有从对象存储服务(OBS)中导入，从容器镜像中导入，从AI Gallery中获取等多种途径，对于上述不同模型服务的来源所产生的常见问题及处理方法建议如下： 从容器镜像中导入：由于此种方式镜像为用户完全自定义的镜像，错误原因会因自定义镜像的不
当前裸金属服务器状态为停止状态。 目标操作系统必须是该Region下的IMS公共镜像或者私有共享镜像。 在BMS控制台切换操作系统 获取操作系统镜像。 由华为云官方提供给客户操作系统镜像，在IMS镜像服务的共享镜像处进行接收即可，参考如下图操作。 图1 共享镜像 切换操作系统。 对Lite Se
2u/modelarts.vm.gpu.p4(需申请)/modelarts.vm.ai1.a310(需申请)，需申请权限才能使用的规格请在华为云创建工单，由ModelArts运维工程师添加权限。 instance_count 是 Integer 模型部署的实例数，当前限制最大实例
组配置，添加入方向规则，允许外部访问3000、9090端口： 在浏览器地址栏输入xx.xx.xx.xx:3000，登录Grafana，默认账号密码为：admin/admin。在配置管理页面，添加数据源，类型选择Prometheus。 备注：xx.xx.xx.xx为Grafana的所在宿主机的IP地址
run”，驱动包名称为“Ascend-hdk-型号-npu-driver_版本号_linux-aarch64.run”，商用版是权限受控，仅华为工程师和渠道用户有权限下载，下载地址请见固件驱动包下载链接。 arch cat /etc/os-release 图5 查看机器操作系统版本及架构
AI应用计费项 计费说明 在ModelArts创建AI应用不收费，但在通过OBS导入模型创建AI应用时，需要先将模型包文件存放到OBS中，OBS会产生费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b
创建AI应用成功后，部署服务报错，如何排查代码问题 问题现象 创建AI应用成功后，部署服务失败，如何定位是模型代码编写有问题。 原因分析 用户自定义镜像或者通过基础镜像导入的AI应用时，用户自己编写了很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。 处理方法 服务部
注意：如提示uid重复，则单击“Change uid”，修改json中的uid后单击“Import”。 图4 修改uid 导入成功后，在Dashboards下，即可看到导入的视图，单击视图即可打开监控。 模板使用 导入成功后，单击想查看的模板即可查看响应内容。这里介绍一些常用功能的使用。 切换数据源和资源池 图5
4096 文本处理时的最大长度，此处为4096，用户可根据自己要求适配 dataset identity,alpaca_en_demo 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据（可选）配置dataset_info.json文件，并将数据集存放于dataset_info
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
