检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ata.json.json)按照下面的数据存放目录要求放置。 指令微调样例数据集alpaca_gpt4_data.json.json的下载链接:https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpaca
/home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user 通过增加nginx代理,支持https协议。 协议转换为https之后,对外暴露的端口从tfserving的8501变为8080。 Dockerfile中执行如下命令完成nginx的安装和配置。
命令,将必要的内核模块加载到系统中。但有时候也可能需要手动执行该命令。例如,在更新了NVIDIA驱动后,需要重新加载新版本的内核模块才能使变更生效。 此外,若使用了多个NVIDIA显卡,每个显卡都需要加载相应的内核模块才能正常工作。在这种情况下,也需要手动执行“nvidia-mo
本文价格仅供参考,实际计算请以ModelArts价格详情中的价格为准。 变更配置后对计费的影响 如果您在购买按需计费资源池后变更了规格配置,会产生一个新订单并开始按新配置的价格计费,旧订单自动失效。 如果您在一个小时内变更了规格配置,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。
在专属资源池列表中,选择需要删除的资源池的操作列“更多 > 删除”。 在“删除资源池”页面,需在文本框中输入“DELETE”,单击“确定”,删除资源池。 可切换“训练作业”、“推理服务”、“开发环境”页签查看资源池上创建的训练作业、部署的推理服务、创建的Notebook实例。 图1 删除资源池 释放游离节点
专属资源池扩容,可参考扩缩容资源池。 如果磁盘空间不够,可以尝试重试,使实例调度到其他节点。如果单实例仍磁盘空间不足,请联系系统管理员,更换合适的规格。 如果是大模型导入的AI应用部署服务,请确保专属资源池磁盘空间大于1T(1000GB)。 父主题: 服务部署
t4_data.json.json)按照下面的数据存放目录要求放置。 样例数据集alpaca_gpt4_data.json.json的下载链接:https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpaca
排查/home/ma-user/.ssh目录权限是否为755/750,不是该权限请修改。 连接时如果报错密钥无权限,排查密钥是否为自己的密钥(可能使用了重名密钥),请更换密钥后重新连接实例。 本地排查 检查配置是否正确。 打开config文件进行检查:Host必须放在每组配置的第一行,作为每组配置的唯一ID。
排查/home/ma-user/.ssh目录权限是否为755/750,不是该权限请修改。 连接时如果报错密钥无权限,排查密钥是否为自己的密钥(可能使用了重名密钥),请更换密钥后重新连接实例。 本地排查 检查配置是否正确。 打开config文件进行检查:Host必须放在每组配置的第一行,作为每组配置的唯一ID。
可,可不填该字段。非模板参数 表4 GuideDoc 参数 是否必选 参数类型 描述 doc_url 是 String 文档http(s)链接。 doc_name 是 String 文档名称,支持1-48位可见字符(含中文),只能以英文大小写字母或者中文字符开头,名称可以包含字母、中文、数字、中划线、下划线。
可能影响ModelArts侧基本功能,包括但不限于资源池管理、节点管理、扩缩容、驱动升级等。 高 不可恢复。 节点 退订、移除、关机、污点管理、切换/重装操作系统等。 可能影响ModelArts侧基本功能,包括但不限于节点管理、扩缩容、驱动升级、带本地盘机型的本地盘数据丢失等。 高 不可恢复。
后请及时停止Notebook实例或删除。使用EVS做存储时,需同时清理存储到EVS中的数据。 CodeLab计费:在体验CodeLab时,切换为付费规格后会收费,使用完后请在JupyterLab界面及时停止Notebook实例。 训练作业:训练作业运行时会收取费用,使用完请及时停
下载界面(用户一定要保存好),或者每次都使用新的密钥对。 Step1 安装SSH工具 下载并安装SSH远程连接工具,以PuTTY为例,下载链接。 Step2 使用puttygen将密钥对.pem文件转成.ppk文件 下载puttygen,并双击运行puttygen。 单击“Load”,上传
成授权。 创建用户并加入用户组。 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 用户登录并验证权限。 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择ModelArts,进入ModelArts主界面,选择不同类型的专属资源池,在页面单击“创建”
成授权。 创建用户并加入用户组。 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 用户登录并验证权限。 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择ModelArts,进入ModelArts主界面,选择不同类型的专属资源池,在页面单击“创建”
ret = dataset.with_transform(_format_transforms) return ret # 转换函数 def _format_transforms(examples): examples["pixel_values"] = [_transforms(img
后请及时停止Notebook实例或删除。使用EVS做存储时,需同时清理存储到EVS中的数据。 CodeLab计费:在体验CodeLab时,切换为付费规格后会收费,使用完后请在JupyterLab界面及时停止Notebook实例。 训练作业:训练作业运行时会收取费用,使用完请及时停
重启AI应用,使环境变量的新增、修改、删除生效。 当AI应用的状态为“运行中”时,则在“运行资源设置”处,单击“重启”。 当AI应用的状态为非“待启动”时,则环境变量的变更会随应用启动自动生效。 管理AI应用可见范围 创建AI应用时,默认“可见范围”是“私密”,且“仅自己可见”。创建完成后,支持修改可见范围。
吞吐表示每秒每卡处理的Tokens数量,吞吐值的上下限可以参考表4获取。 单位:tokens/s/p 前后处理时间 调优时长还包括训练前的数据预处理、训练后格式转换等调优之外的耗时,统称为前后处理时间。 调优任务的前后处理时间和模型参数量相关,不同参数量的时间估值如下: 72B : 1.35小时 32B:0
在“资源占用情况”窗口打开时,会定期向后台获取最新的资源使用率数据并刷新。 操作一:如果训练作业使用多个计算节点,可以通过实例名称的下拉框切换节点。 操作二:单击图例“cpuUsage”、“gpuMemUsage”、“gpuUtil”、“memUsage”“npuMemUsage