检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
pip install numba命令安装了numba库且运行正常（且已保存为自定义镜像）， 然后使用DataArts执行此脚本的任务时提示没有这个库。 原因分析 客户创建了多个虚拟环境，numba库安装在了python-3.7.10中，如图1所示。
图2 查看日志和性能 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.909）
准备代码 准备AscendCloud-6.3.906-xxx.zip。 准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。
obsutil是一款用于访问管理华为云对象存储服务（Object Storage Service，OBS）的命令行工具，您可以使用该工具对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。
解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.908-xxx.zip和算子包AscendCloud-OPP-6.3.908-xxx.zip。 unzip AscendCloud-*.zip -d .
在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。
在创建OBS桶创建的桶下创建文件夹用以存放数据，例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。
在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。
创建/mnt/sfs_turbo目录作为挂载目录 ，命令为：mkdir /mnt/sfs_turbo SFS Turbo存储手动挂载到安装节点中，挂载命令如下截图： 挂载完成后，可通过以下步骤获取到代码和数据，并上传至/mnt/sfs_turbo路径下。 父主题： 准备工作
使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里，在modelarts中同步数据源以后看不到已标注，全部显示为未标注 OBS桶设置了自动加密会导致此问题，需要新建OBS桶重新上传数据，或者取消桶加密后，重新上传数据。 父主题： Standard数据管理
当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。
性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_evaluation目录下。
API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/processor-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。
使用CloudShell或者其它SSH远程工具 方式二：通过OBS Browser+将数据上传至OBS，最后在ECS中使用obsutil工具将OBS数据下载至SFS Turbo中。
使用CloudShell或者其它SSH远程工具 方式二：通过OBS Browser+将数据上传至OBS，最后在ECS中使用obsutil工具将OBS数据下载至SFS Turbo中。
图3 模型的自定义镜像制作场景三 约束限制 自定义镜像中不能包含恶意代码。 创建模型的自定义镜像大小不超过50GB。 对于同步请求模式的模型，如果预测请求时延超过60s，会造成请求失败，甚至会有服务业务中断的风险，预测请求时延超过60s时，建议制作异步请求模式的模型。
性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。
创建一个空的OBS桶，OBS桶与ModelArts在同一区域，并确保用户具有OBS桶的操作权限。 本地上传 文件型和表格型数据均支持从本地上传。从本地上传的数据存储在OBS目录中，请先提前创建OBS桶。 从本地上传的数据单次最多支持100个文件同时上传，总大小不超过5GB。
目前华为云支持可视化视图创建自定义策略和JSON视图创建自定义策略，本章节将使用JSON视图方式的策略，以为ModelArts用户授予开发环境的使用权限并且配置ModelArts用户OBS相关的最小化权限项为例，指导您进行自定义策略配置。
目前华为云支持可视化视图创建自定义策略和JSON视图创建自定义策略，本章节将使用JSON视图方式的策略，以为ModelArts用户授予开发环境的使用权限并且配置ModelArts用户OBS相关的最小化权限项为例，指导您进行自定义策略配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
