检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试,数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
突,导致运行出错 在线服务预测时,如何提高预测速度? 调整模型后,部署新版本AI应用能否保持原API接口不变? 在线服务的API接口组成规则是什么? 在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 在线服务处于运行中状态时,如何填写推理请求的request header和request
进入训练作业详情页,在左侧获取SFS Turbo的名称。 图1 获取SFS Turbo的名称 登录弹性文件服务SFS控制台,在SFS Turbo列表找到训练作业挂载的SFS Turbo,单击名称进入详情页。获取VPC信息、安全组信息和endpoint信息。 VPC信息:SFS Turbo详情页的“虚拟私有云”。
程。 “数据选择”表示从全量数据中选择数据子集的过程。 “数据增强”表示通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
No module named 'numba' JupyterLab中文件保存失败,如何解决? 用户结束kernelgateway进程后报错Server Connection Error,如何恢复? 父主题: 开发环境
模型管理 创建模型失败,如何定位和处理问题? 导入模型提示该账号受限或者没有操作权限 用户创建模型时构建镜像或导入文件失败 创建模型时,OBS文件目录对应镜像里面的目录结构是什么样的? 通过OBS导入模型时,如何编写打印日志代码才能在ModelArts日志查询界面看到日志 通过O
rts不仅提供了在线代码开发环境,还提供了从数据准备、模型训练、模型管理到模型部署上线的端到端开发流程(即AI全流程开发)。 本文档介绍了如何在ModelArts管理控制台完成AI开发,如果您习惯使用API或者SDK进行开发,建议查看《ModelArts SDK参考》和《ModelArts
在Lite Cluster资源池上使用Snt9B完成分布式训练任务 场景描述 本案例介绍如何在Snt9B上进行分布式训练任务,其中Cluster资源池已经默认安装volcano调度器,训练任务默认使用volcano job形式下发lite池集群。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。
在Lite Cluster资源池上使用Snt9B完成推理任务 场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务,随后登录至该Pod容器内部署在线服务,并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。
阶段 相关文档 1 Notebook连接大数据服务特性 介绍如何将ModelArts Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接,让数据工程师能便捷地使用Notebook进行大数据开发,以及如何在DataArts Studio服务配置Notebook文件定时调度任务。
Boolean 文件中首行是否是列名,用于表格数据集。可选值如下: true:文件首行为列名 false:文件首行不为列名 表4 SchemaMap 参数 参数类型 描述 dest_name String 目的方的列名。 src_name String 来源方的列名。 表5 SourceInfo
务器的缓存目录下。 gallery-cli download {repo_id} {文件名} {文件名} 其中,“repo_id”如何获取,文件名如何获取。 如下所示,表示下载文件“config.json”和“merges.txt”到服务器的缓存目录“/test”下,当回显“100%”时表示下载完成。
表示context并行,默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度,则推荐增加CP值(CP ≥ 2)。对应训练参数 context-parallel-size 。 (此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。
单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。 如果存在欠费,请及时充值。更多关于欠费还款操作,请参见如何进行欠费还款。 父主题: 计费相关
将Notebook的Conda环境迁移到SFS磁盘 本文介绍了如何将Notebook的Conda环境迁移到SFS磁盘上。这样重启Notebook实例后,Conda环境不会丢失。 步骤如下: 创建新的虚拟环境并保存到SFS目录 克隆原有的虚拟环境到SFS盘 重新启动镜像激活SFS盘中的虚拟环境
单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。 如果存在欠费,请及时充值。更多关于欠费还款操作,请参见如何进行欠费还款。 父主题: 计费FAQ
表示context并行,默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度,则推荐增加CP值(CP ≥ 2)。对应训练参数 context-parallel-size 。 (此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。
diffusers-train:0.0.1 . Step4 启动镜像 启动容器镜像,finetune全量微调需要启动8卡,启动前可以根据实际需要增加修改参数。 docker run -itd --name ${container_name} -v /sys/fs/cgroup:/sys/fs/cgroup:ro
Boolean 文件中首行是否是列名,用于表格数据集。可选值如下: true:文件首行为列名 false:文件首行不为列名 表6 SchemaMap 参数 参数类型 描述 dest_name String 目的方的列名。 src_name String 来源方的列名。 表7 SourceInfo
rror_code 昇腾系列AI处理器错误码 - - NA NA NA AI处理器健康状态 ma_node_npu_ai_core_health_status 昇腾系列AI处理器健康状态 - 1:健康 0:不健康 连续2周期 值为0 紧急 建议参考故障列表,或者提工单咨询。 AI处理器功耗