检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts Notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 将自定义的推理文件和模型配置文件保存在训练生成的模型文件目录下。如训练生成的模型保存在“/home/ma-user/work/tensorflow
导出部分数据到XLSX”,在浏览器的下载记录中查看导出的Excel表格。 在节点列表页面中,单击设置图标,支持对节点列表中显示的信息进行自定义。 查看资源池规格 在资源池详情页,切换到“规格”页签。您可以查看该资源池使用的资源规格以及该规格对应的数量,并可以调整容器引擎空间大小。
work_dir:工作目录,目录下存放着训练所需代码、数据等文件 container_work_dir: 容器工作目录,一般同work_dir container_name:自定义容器名 image_id:镜像ID,通过docker images来查看拉取的镜像ID。 步骤四 进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
work_dir:工作目录,目录下存放着训练所需代码、数据等文件 container_work_dir: 容器工作目录,一般同work_dir container_name:自定义容器名 image_id:镜像ID,通过docker images来查看拉取的镜像ID。 步骤四:进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
/Ascend-cann-kernels-型号_7.0.0_linux.run --install 请安装在默认路径下:/usr/local/Ascend,暂不支持安装在自定义路径下。 tailor 安装版本:0.3.4 下载地址: https://cneast3-modelarts-sdk.obs.cn-east-3
Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data.json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与
Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data.json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与
/home/ma-user/ws/LLaMAFactory/LLaMA-Factory/data 【可选】dataset_info.json配置文件所属的绝对路径;如使用自定义数据集,yaml配置文件需添加此参数。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行
matmul、swiglu、rope等算子性能提升,支持vllm推理场景 支持random随机数算子,优化FFN算子,满足AIGC等场景 支持自定义交叉熵融合算子,满足BMTrain框架训练性能要求 优化PageAttention算子,满足vllm投机推理场景 支持CopyBlocks算子,满足vllm框架beam
matmul、swiglu、rope等算子性能提升,支持vllm推理场景 支持random随机数算子,优化FFN算子,满足AIGC等场景 支持自定义交叉熵融合算子,满足BMTrain框架训练性能要求 优化PageAttention算子,满足vllm投机推理场景 支持CopyBlocks算子,满足vllm框架beam
Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data.json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与
Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data.json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与
当专属资源池中的节点含有GPU/Ascend资源时,为确保GPU/Ascend资源能够正常使用,需要配置好对应的驱动。如果在购买资源池时,没配置自定义驱动,默认驱动不满足业务要求,可通过本章节将驱动升级到指定版本。 5 (可选)配置镜像预热 Lite Cluster资源池支持镜像预热功能
user_image_url=f"{image_organization}/{image_name}:{image_tag}", # 自定义镜像swr地址,由镜像仓库组织/镜像名称:镜像tag组成 user_command=f'cd
Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data.json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与
止。 表5 ServiceConfig 参数 是否必选 参数类型 描述 custom_spec 否 CustomSpec object 自定义资源规格配置,仅当specification配置为custom时返回。 envs 否 Map<String,String> 公共参数。运行
benchmark_utils.py # 抽离的工具集 ├── generate_datasets.py # 生成自定义数据集的脚本 ├── requirements.txt # 第三方依赖 ├──benchmark_eval
字及版本> - <硬件及版本:cpu或cuda或cann> - <python版本> - <操作系统版本> - <CPU架构> 当前支持自定义模型启动命令,预置AI引擎都有默认的启动命令,如非必要无需改动 表5 支持的常用引擎及其Runtime以及默认启动命令 模型使用的引擎类型
公共资源池有CPU或GPU两种规格。如需使用,需联系管理员创建公共资源池。 “专属资源池” 您可以在资源池规格中选择对应的规格进行使用。 “模型来源” 根据您的实际情况选择“自定义模型”或者“订阅模型”。 “选择模型及版本” 选择状态“正常”的模型及版本。 “输入数据目录位置” 选择输入数据的OBS路径,即您上传数据的OBS目录。只能选择文件夹或“
/home/ma-user/ws/LLaMAFactory/LLaMA-Factory/data 【可选】dataset_info.json配置文件所属的绝对路径;如使用自定义数据集,yaml配置文件需添加此参数。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行