检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建训练作业 创建训练作业时提示“对象目录大小/数量超过限制”,如何解决? 训练环境中不同规格资源“/cache”目录的大小 训练作业的“/cache”目录是否安全? 训练作业一直在等待中(排队)? 创建训练作业时,超参目录为什么有的是/work有的是/ma-user? 在Mod
如何查看训练作业资源占用情况? 在ModelArts管理控制台,选择“模型训练>训练作业”,进入训练作业列表页面。在训练作业列表中,单击目标作业名称,查看该作业的详情。您可以在“资源占用情况”页签查看到如下指标信息。 CPU:CPU使用率(cpuUsage)百分比(Percent)。 MEM:物理内存
当前Notebook默认内置的引擎环境不能满足用户诉求,用户可以新建一个conda env按需搭建自己的环境。本小节以搭建一个“python3.6.5和tensorflow1.2.0”的IPython Kernel为例进行展示。 操作步骤 创建conda env。 在Notebook的Termin
在AI业务开发以及运行的过程中,一般都会有复杂的环境依赖需要进行调测并固化。面对开发中的开发环境的脆弱和多轨切换问题,在ModelArts的AI开发最佳实践中,通过容器镜像的方式将运行环境进行固化,以这种方式不仅能够进行依赖管理,而且可以方便的完成工作环境切换。配合ModelArts提供的云化容
/bucket-name/code/test.sh”。 在本地创建“.py”文件,例如“test.py”。由于后台会自动将代码目录下载至容器的“/home/work/user-job-dir/”目录下,因此您可以在启动文件“test.py”中通过如下方式调用“.sh”文件: import
String Workflow工作流配置参数的描述。 example 否 Object Workflow工作流配置参数的样例。 delay 否 Boolean 是否为延迟输入的参数,默认为否。 default 否 Object 配置参数的默认值。 value 否 Object 参数值。
Gallery,单击右上角“我的Gallery”进入我的Gallery页面。 左侧菜单栏选择“我的资源 > 云服务器”,单击专属资源池页签进入云服务详情页面。 在节点页签,单击选择“配置工具”,弹出该节点的配置工具页面。 在配置工具页面,单击“下载”启动下载任务。当配置工具的状态记录中“工具状
<=1,表示机器标注的置信度。 creation_time String 创建该标注的时间。是用户写入标注的时间,不是Manifest生成时间。 annotated_by String 标注人。 annotation_format String 描述标注文件的格式。默认为“PASCAL
训练过程读取数据 在ModelArts上训练模型,输入输出数据如何配置? 如何提升训练效率,同时减少与OBS的交互? 大量数据文件,训练过程中读取数据效率低? 使用Moxing时如何定义路径变量? 父主题: Standard训练作业
创建Notebook失败,查看事件显示JupyterProcessKilled 创建Notebook实例后无法打开页面,如何处理? 使用pip install时出现“没有空间”的错误 出现“save error”错误,可以运行代码,但是无法保存 出现ModelArts.6333错误,如何处理? 打开Notebook实
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 VS Code连接开发环境失败时的排查方法 远程连接出现弹窗报错:Could not establish connection to xxx 连接远端开发环境时,一直处于"Setting
在ModelArts中,用户的数据都是存放在OBS桶中,而训练作业运行在容器中,无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错,您可以使用Moxing将数据复制至容器中,再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型,进行读取。请参见读
他优化算法相结合,进一步提高深度学习模型的性能。 SFT监督式微调(Self-training Fine-tuning):是一种利用有标签数据进行模型训练的方法。 它基于一个预先训练好的模型,通过调整模型的参数,使其能够更好地拟合特定任务的数据分布。 与从头开始训练模型相比,监督
CodeLab 如何将git clone的py文件变为ipynb文件 Notebook里面运行的实例,如果重启,数据集会丢失么? Jupyter可以安装插件吗? 是否支持在CodeLab中使用昇腾的卡进行训练? 如何在CodeLab上安装依赖? 父主题: Standard Notebook
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理?
timeout:939 callbacks suppressed 华为云CCE集群纳管GPU裸金属服务器由于CloudInit导致纳管失败的解决方案 GPU A系列裸金属服务器使用CUDA cudaGetDeviceCount()提示CUDA initializat失败 裸金属服务器Euler
equirements.txt”的文件,并且在文件中指定此whl包的包名。依赖包必须为“.whl”格式的文件。 例如,“代码目录”对应的OBS路径下,包含模型文件、whl包,同时还存在“pip-requirements.txt”文件。“代码目录”的结构如下所示: |---模型启动文件所在OBS文件夹
path” 使用PyCharm Toolkit提交训练作业报错NoSuchKey 部署上线时,出现错误 如何查看PyCharm ToolKit的错误日志 如何通过PyCharm ToolKit创建多个作业同时训练? 使用PyCharm ToolKit ,提示Error occurs when
权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 Step2 修改训练超参配置 以 llama2-70b 和
权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤2 修改训练超参配置 以 llama2-70b 和 llama2-13b