检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
create_time:按创建时间排序(默认值) workforce_name:按标注团队名称排序 workforce_task_id 否 String 团队标注任务ID。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 total_number Integer 标注团队总数。
requirements.txt 静态benchmark 运行静态benchmark验证脚本benchmark_parallel.py,具体操作命令如下,可以根据参数说明修改参数。 notebook中进行测试: cd benchmark_tools python benchmark_parallel
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入: cd /
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入: cd /h
Constraint 参数 参数类型 描述 attribute String 条件属性,参数的某个字段值。 operator String 操作,当前只支持equal操作。 value Object 取值。 表16 WorkflowParameter 参数 参数类型 描述 name String
原因分析 递归深度超过了Python默认的递归深度,导致训练失败。 处理方法 如果超过最大递归深度,建议您在启动文件中增大递归调用深度,具体操作如下: import sys sys.setrecursionlimit(1000000) 父主题: 业务代码问题
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的mllm_train/t
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的mllm_train/tr
requirements.txt 静态benchmark 运行静态benchmark验证脚本benchmark_parallel.py,具体操作命令如下,可以根据参数说明修改参数。 Notebook中进行测试: conda activate python-3.9.10 cd benchmark_tools
IPV6:开启IPv6功能后,将自动为子网分配IPv6网段,暂不支持自定义设置IPv6网段,该功能一旦开启,将不能关闭。 若创建网络时未勾选开启IPv6,也可在创建网络后在操作列单击“启动IPv6”,如图3 打通VPC前,需要保证ModelArts网络和您的VPC网络都已开启IPv6,IPv6才会生效。若是打通V
模型到AI Gallery、托管数据集到AI Gallery、发布本地AI应用到AI Gallery。 资产创建完成后,需要将资产进行发布操作,具体可参见发布模型到AI Gallery、发布数据集到AI Gallery。对于支持部署为AI应用的AI Gallery模型,可将此模型部署为AI应用,具体可参见将AI
-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结构,此处以llama2-13B为例(权重文件可能变化,以下仅为举例): obs://
-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结构,此处以llama2-13B为例(权重文件可能变化,以下仅为举例): obs://
清理镜像构建缓存 (只支持ModelArts Notebook里使用)。 debug 在ECS上调试SWR镜像是否能在ModelArts Notebook中使用 (只支持已安装docker环境的ECS)。 使用ma-cli image get-template命令查询镜像构建模板 m
一区域,并确保用户具有OBS桶的操作权限。 本地上传 文件型和表格型数据均支持从本地上传。从本地上传的数据存储在OBS目录中,请先提前创建OBS桶。 从本地上传的数据单次最多支持100个文件同时上传,总大小不超过5GB。 不同类型的数据集,导入操作界面的示意图存在区别,请参考界面
error_code String 操作失败的错误码。 error_msg String 操作失败的错误信息。 results Array of BatchResponse objects 批量更新样本标签的响应结果列表。 success Boolean 操作是否执行成功。可选值如下: true:执行成功
池对特定作业类型的支持。 自助专属池网络打通:可以在ModelArts管理控制台自行创建和管理专属资源池所属的网络。如果需要在专属资源池的任务中访问自己VPC上的资源,可通过“打通VPC”来实现。 更加完善的集群信息:全新改版的专属资源池详情页面中,提供了作业、节点、资源监控等更
inv_freq = self.inv_freq.npu() 问题6:使用Qwen2-7B、Qwen2-72B模型有精度问题,重复输出感叹号 检查步骤六中4. 配置环境变量章节中,高精度模式的环境变量是否开启。 问题7:使用autoAWQ进行qwen-7b模型量化时报错 使用autoAW
inv_freq = self.inv_freq.npu() 问题6:使用Qwen2-7B、Qwen2-72B模型有精度问题,重复输出感叹号 检查步骤六中4. 配置环境变量章节中,高精度模式的环境变量是否开启。 问题7:使用autoAWQ进行qwen-7b模型量化时报错 使用autoAW
requirements.txt 静态benchmark 运行静态benchmark验证脚本benchmark_parallel.py,具体操作命令如下,可以根据参数说明修改参数。 Notebook中进行测试: conda activate python-3.9.10 cd benchmark_tools