检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
即上传的HuggingFace权重文件存放目录。如果使用了量化功能,则使用量化章节转换后的权重。如果使用的是训练后模型转换为HuggingFace格式的地址,还需要有Tokenizer原始文件。 --max-num-seqs:最大同时处理的请求数,超过后在等待池等候处理。
Server 对象存储服务OBS OBS Administrator 凭据管理服务CSMS CSMS ReadOnlyAccess 云审计服务CTS CTS Administrator 弹性云服务器ECS ECS FullAccess 容器镜像服务SWR SWR Admin 弹性文件服务
文件路径在:ModelLink/modellink/data/data_handler.py。
文件路径在:ModelLink/modellink/data/data_handler.py。
文件路径在:ModelLink/modellink/data/data_handler.py。
access_modes String 挂载文件的访问权限,支持读写和只读两种方式,仅type为“obsfs”类型,该字段有效。
支持的模型列表和权重文件 本方案支持vLLM的v0.6.3版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。
即上传的HuggingFace权重文件存放目录。如果使用了量化功能,则使用量化章节转换后的权重。如果使用的是训练后模型转换为HuggingFace格式的地址,还需要有Tokenizer原始文件。 --max-num-seqs:最大同时处理的请求数,超过后在等待池等候处理。
train_url 是 String 训练作业的输出文件OBS路径URL,默认为空,如:“/bucket/trainUrl/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/train/”。
表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf llama2-13b https://huggingface.co
文件路径在:ModelLink/modellink/data/data_handler.py。
文件路径在:ModelLink/modellink/data/data_handler.py。
文件路径在:ModelLink/modellink/data/data_handler.py。
文件路径在:ModelLink/modellink/data/data_handler.py。
NVIDIA的驱动程序是一个二进制文件,需使用系统中的libelf库(在elfutils-libelf-devel开发包)中。它提供了一组C函数,用于读取、修改和创建ELF文件,而NVIDIA驱动程序需要使用这些函数来解析当前正在运行的内核和其他相关信息。
通过Notebook文件上传功能操作OBS数据。 通过在Console页面添加OBS桶到Notebook实例的/data目录下,以文件方式操作OBS数据。 Notebook实例事件上报。
job_step输出的metric文件格式要求可参考创建Workflow训练作业节点部分,并且在Condition中只支持使用type为float类型的指标数据作为输入。
文件路径在:ModelLink/modellink/tasks/preprocess/data_handler.py。
文件路径在:ModelLink/modellink/data/data_handler.py。
filesystem NFS挂载的文件系统。 mount_point NFS的挂载点。 Diagnos cid GPU所在节点所属的CCE集群ID。 node_ip GPU所在节点的IP。 pool_id 物理专属池对应的资源池ID。