检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入DashBoards模板。 复制准备工作提供的模板的下载地址到浏览器中打开,复制JSON文件的内容。粘贴到DashBoards模板里,如图2所示,最后单击“Load”。 图1 复制JSON文件的内容 图2 粘贴JSON文件的内容到DashBoards模板 修改视图名称,单击Import。 图3 修改视图名称
图1 上传OBS文件到Notebook的代码示例 构建推理代码。 解压AscendCloud-3rdLLM-6.3.905-xxx.zip代码包。 unzip AscendCloud-3rdLLM-6.3.905-*.zip 运行推理构建脚本build.sh文件,自动获取asce
SDK安装包时,建议您同时下载校验文件,校验安装包的完整性,避免由于安装包下载问题导致后续的业务问题。 依次完成下载ModelArts SDK安装包、校验文件和Workflow SDK安装包、校验文件。 下载ModelArts SDK安装包 下载ModelArts SDK校验文件 下载Workflow
Notebook中已安装对应库,仍报错import numba ModuleNotFoundError: No module named 'numba' JupyterLab中文件保存失败,如何解决? 用户结束kernelgateway进程后报错Server Connection Error,如何恢复? 父主题: 开发环境
附录:指令微调训练常见问题 问题1:在训练过程中遇到NPU out of memory 解决方法: 将yaml文件中的per_device_train_batch_size调小,重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级,可参考各个模型深度学习训
专属资源池支持打通用户的网络,在该专属资源池中运行的作业可以访问打通网络中的存储和资源。例如,在创建训练作业时选择打通了网络的专属资源池,训练作业创建成功后,支持在训练时访问SFS中的数据。 专属资源池支持自定义物理节点运行环境相关的能力,例如GPU/Ascend驱动的自助升级,而公共资源池暂不支持。 专属资源池有什么能力?
训练作业运行失败,出现NCCL报错 自定义镜像训练作业失败定位思路 使用自定义镜像创建的训练作业一直处于运行中 使用自定义镜像创建训练作业找不到启动文件 训练作业的监控内存指标持续升高直至作业失败 订阅算法物体检测YOLOv3_ResNet18(Ascend)训练失败报错label_map
数据集版本名称。 with_column_header Boolean 发布的CSV文件的第一行是否为列名,对于表格数据集有效。可选值如下: true:发布的CSV文件的第一行是列名 false:发布的CSV文件的第一行不是列名 表3 LabelStats 参数 参数类型 描述 attributes
--model ${model_path}:模型地址,模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能,则使用推理模型量化章节转换后的权重。 --max-num-seqs:最大同时处理的请求数,超过后拒绝访问。
当您使用订阅算法创建训练作业时,不支持该参数。 “启动文件” 训练作业启动文件位置。 说明: 当您使用订阅算法创建训练作业时,不支持该参数。 “运行用户ID” 容器运行时的用户ID。 “本地代码目录” 训练代码在训练容器中的存放路径。 “工作目录” 训练启动文件在训练容器中的路径。 “实例数” 本次训练作业设置的实例数。
理好自己的数据集。 在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<
的合法字符串,长度为1-100位。 是 str、Placeholder dataset_format 数据集格式,默认为0,表示文件类型。 否 0:文件类型 1:表格类型 data_type 数据类型,默认为FREE_FORMAT。 否 DataTypeEnum description
L=1 export ASCEND_SLOG_PRINT_TO_STDOUT=1 模型转换时指定AOE调优配置文件。 # shell # 模型转换时指定AOE调优配置文件并将调优日志输出到aoe_unet.log。 mkdir aoe_output converter_lite
${path-to-file}/deepseekV3-bf16 --save_path ${path-to-file}/deepseekV3-w8a8 量化后的权重文件再复制到另外一台机器的相同目录。 DeepSeek量化FAQ Q:报错 This modeling file requires the following
大限制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。
大限制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。
批量任务中调用的推理接口,需要从模型的config.json文件中选取一个api路径用于此次推理 mapping_type 是 String 输入数据的映射类型,可选“file”或“csv”。 file指每个推理请求对应到输入数据目录下的一个文件,当使用此方式时,此模型对应req_uri只能有一个输入参数且此参数的类型是file。
autoremove --purge *nccl* 删除原nccl-test的编译后文件。 由于nccl-test make编译也是基于当前cuda12.0版本的。 当cuda版本更换后,需要重新编译, 因此删除它。默认该文件在/root/nccl-tests直接删除即可。 从内核中卸载nvidia相关的所有进程。
conditioning_images.zip unzip images.zip 接着修改fill50k.py文件,如果机器无法访问huggingface网站,则需要将脚本文件中下载地址替换为容器本地目录。 56 def _split_generators(self, dl_manager):
ark引擎相连接,让数据工程师能便捷地使用Notebook进行大数据开发,以及如何在DataArts Studio服务配置Notebook文件定时调度任务。 白名单