检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户若购买开通多个节点机器资源,并使用多机进行分布式训练时,则需要用户购买可挂载的存储硬盘资源,以实现多机共同访问同一存储硬盘资源。ModelArts Lite Server 支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题:
机进行分布式训练时,则需要用户购买可挂载的存储硬盘资源,以实现多机共同访问同一存储硬盘资源。ModelArts Lite DevServer支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题:
镜像适配的Cann版本是cann_8.0.rc3。 Lite Server驱动版本要求23.0.6 PyTorch版本:2.3.1 确保容器可以访问公网。 文档更新内容 6.3.912版本相对于6.3.911版本新增如下内容: 代码结构发生变化,统一了modellink和llama-factory的启动方式。
权配置成功。 如果提示“需获取依赖服务的授权”,说明未配置ModelArts委托访问授权,请参考Step3 为用户配置ModelArts的委托访问授权,使用主用户为子账号配置ModelArts委托访问授权。 在ModelArts左侧菜单栏中,选择“开发环境>Notebook”,单
调用失败时的错误码,具体请参见错误码。调用成功时无此字段。 请求示例 如下以删除名称为“test-trainconfig”的作业参数为例。 DELETE https://endpoint/v1/{project_id}/training-job-configs/test-trainconfig 响应示例
engine_version String 训练作业使用的引擎版本。 请求示例 如下以查看训练作业的资源引擎规格为例。 GET https://endpoint/v1/{project_id}/job/ai-engines?job_type=train 响应示例 成功响应示例
使用窍门 创建项目时,如何快速创建OBS桶及文件夹? 自动学习生成的模型,存储在哪里?支持哪些其他操作? 父主题: 使用自动学习实现零代码AI开发
CUDA和CUDNN run.sh脚本测试ModelArts训练整体流程 ModelArts环境挂载目录说明 infiniband驱动的安装 如何保证训练和调试时文件路径保持一致 父主题: 专属资源池训练
授权类型。可选值有PUBLIC、PRIVATE、INTERNAL。默认值为PUBLIC。 PUBLIC:租户内部公开访问。 PRIVATE:仅创建者和主账号可访问。 INTERNAL:创建者、主账号、指定IAM子账号可访问,需要与grants参数配合使用。 enterprise_project_id 否 String
服务启动失败,提示拉取镜像失败,请参考服务部署、启动、升级和修改时,拉取镜像失败如何处理? 资源不足,服务调度失败 服务启动失败,提示资源不足,服务调度失败,请参考服务部署、启动、升级和修改时,资源不足如何处理? 内存不足 服务启动失败,提示内存不足,请参考内存不足如何处理? 父主题: 服务部署
执行以下命令制作训练镜像。安装过程需要连接互联网git clone,请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 如果无法访问公网,则可以配置代理,增加`--build-arg`参数指定代理地址,可访问公网。 docker build --build-arg
执行以下命令制作训练镜像。安装过程需要连接互联网git clone,请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 如果无法访问公网,则可以配置代理,增加`--build-arg`参数指定代理地址,可访问公网。 docker build --build-arg
keepdim=True) text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1) print("Label probs:", text_probs) # prints: [[1., 0.
7.6(PyTorch自带,无需关心) pytorch version : 1.X.X-cu102 CUDA Compatibility如何使用? 当CUDA 10.2与低版本GPU驱动(440.33以下)配合使用时,可能会出现兼容问题,此时需要使用CUDA Compatibi
如果已完成集群资源购买和开通,则需要对网络、存储、容器镜像等内容进行配置。请参考k8s Cluster环境配置详细流程。 kubectl访问集群配置 本步骤需要在节点机器,对kubectl进行集群访问配置。 首先进入已创建的CCE集群控制版面中。根据图2的步骤进行操作,单击kubectl配置时,会弹出图3步骤页面。
如果已完成集群资源购买和开通,则需要对网络、存储、容器镜像等内容进行配置。请参考k8s Cluster环境配置详细流程。 kubectl访问集群配置 本步骤需要在节点机器,对kubectl进行集群访问配置。 首先进入已创建的CCE集群控制版面中。根据图2的步骤进行操作,单击kubectl配置时,会弹出图3步骤页面。
分为多少组。 “结果处理方式”:“更新属性到当前样本中”,或者“保存到对象存储服务(OBS)”。 “属性名称”:当选择“更新属性到当前样本中”时,需输入一个属性名称。 “结果存储目录”:当选择“保存到对象存储服务(OBS)”时,需指定一个用于存储的OBS路径。 “高级特征选项”:
ModelArts中的作业为什么一直处于等待中? ModelArts控制台为什么能看到创建失败被删除的专属资源池? ModelArts训练专属资源池如何与SFS弹性文件系统配置对等链接?
训练的数据集预处理说明 以llama2-13b举例,使用训练作业运行:obs_pipeline.sh 训练脚本后,脚本自动执行数据集预处理,并检查是否已经完成数据集预处理。 如果已完成数据集预处理,则直接执行训练任务。如果未进行数据集预处理,则会自动执行scripts/llama2/1_preprocess_data
训练的数据集预处理说明 以llama2-13b举例,使用训练作业运行:obs_pipeline.sh 训练脚本后,脚本自动执行数据集预处理,并检查是否已经完成数据集预处理。 如果已完成数据集预处理,则直接执行训练任务。如果未进行数据集预处理,则会自动执行scripts/llama2/1_preprocess_data