正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适用于训练数据集的存储。 对象存储。常用OBS SDK进行样本数据下载。存储量大,但是离节点比较远,直接训练速度会比较慢,通常会先将数据拉取到本地cache,然后再进行训练任务。 静态挂载 动态挂载 SFS Turbo 适用于海量小文件业务场景。 提供posix协议的文件系统; 需要和资源池在同一个VPC下或VPC互通;
--gpu-memory-utilization:NPU使用的显存比例,复用原vLLM的入参名称,默认为0.9。 --trust-remote-code:是否相信远程代码。 --dtype:模型推理的数据类型。仅支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。
由于运行中的Notebook将一直耗费资源,您可以通过停止操作,停止资源消耗。对于停止状态的Notebook,可通过启动操作重新使用Notebook。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间 > Notebook”,进入Notebook管理页面。 执行如下操作启动或停止Notebook。
在Notebook中如何查看GPU使用情况 创建Notebook时,当您选择的类型为GPU时,查看GPU使用情况具体操作如下: 登录ModelArts管理控制台,选择“开发空间>Notebook”。 在Notebook列表中,单击目标Notebook“操作”列的“打开”,进入“Jupyter”开发页面。
iteration”获取每步迭代耗时,总的Token数可以用日志中的“global batch size”和“SEQ_LEN”相乘获得,训练的每卡每秒的吞吐=总Token数÷每步迭代耗时÷总卡数。 删除调优任务 删除操作无法恢复,请谨慎操作。 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts
服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 410 Gone 客户端请求的资源已经不存在。 返回该状态码,表明请求的资源已被永久删除。 411 Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息。
Studio大模型即服务平台提供了丰富的开源大模型模板,在模型详情页可以查看模型的详细介绍,根据这些信息选择合适的模型模板,用于创建模型。 访问模型广场 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
不发布模型,创建本地模型,可用来调试相关代码。 source_location_type 否 String 模型位置类型。可选值: OBS_SOURCE:source_location为OBS路径。(默认值) LOCAL_SOURCE:source_location为本地路径。 source_location
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页,选择“数据集版本”页签。单击操作列的“下载”,选择保存路径单击“确认”,即可下载文件到本地。 删除文件 在数据集详情页,选择“数据集版本”页签。单击操作列的“删除”,确认后即可将已经托管的文件从AI Gallery仓库中删除。 文件删除后不可恢复,请谨慎操作。
前提条件 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 操作步骤 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/ 下载格式转换后的anno
样本ID,通过OBS路径的md5生成。 signed_new_source String 签名后的处理后样本地址。 signed_origin_source String 签名后的原样本地址。 version_id String 数据处理任务的版本ID。 请求示例 查询数据处理任务版本的结果展示
代码和参数进行过修改。 检查资源分配情况(cpu/mem/gpu/snt9/infiniband)是否符合预期。 通过CloudShell登录到Linux工作页面,检查GPU工作情况: 通过输入“nvidia-smi”命令,查看GPU工作是否异常。 通过输入“nvidia-smi
勾选“我已经详细阅读并同意《 ModelArts服务声明 》”,单击“创建”。 测试管理员用户权限。 使用管理员用户登录ModelArts管理控制台。在登录页面,请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码,请根据界面提示进行修改。 在ModelArts控制台的左侧导航栏中,选择“专属
suppressed"。 原因分析 根据SFS客户端日志分析出现问题的时间点发现,SFS盘连接的客户端个数较多,在问题的时间点并发读取数据,I/O超高;当前SFS服务端的机制是:当SFS盘的性能到上限时,就会IO排队。IO排队造成处理时间超过 1 分钟时,客户端内核会打印"rpc_check_timeout:939
到满意的模型后,可以将训练后得到的模型创建为AI应用,用于部署服务。 从对象存储服务(OBS)中选择:如果您使用常用框架在本地完成模型开发和训练,可以将本地的模型按照模型包规范上传至OBS桶中,从OBS将模型导入至ModelArts中,创建为AI应用,直接用于部署服务。 从容器镜
由于在线运行需消耗资源,确保账户未欠费。 背景信息 边缘服务目前还处于限时免费阶段,运行中的边缘服务,并不会产生费用。 用户最多可创建1000个边缘服务。 部署边缘服务 登录ModelArts管理控制台,在左侧导航栏中选择“模型部署>边缘服务”,默认进入“边缘服务”列表。 在边缘服务列表中,单击左上角“部署”,进入“部署”页面。
WR、IEF等依赖服务。 此方式只允许主用户为子账号进行配置。因此,本示例中,管理员账号需为所有用户完成访问授权的配置。 使用主用户的账号登录ModelArts服务管理控制台。请注意选择左上角的区域,例如“华南-广州”。 在左侧导航栏单击“权限管理”,进入“权限管理”页面。 单击
截,导致无法进行保存。 在Notebook中的运行文件超过指定大小就会提示此报错。 jupyter页面打开时间太长。 网络环境原因,是否有连接网络代理。 解决方法 关掉插件然后重新保存。 减少文件大小。 重新打开jupyter页面。 请检查网络。 父主题: 代码运行常见错误
请联系管理员扩大配额。 100 ModelArts.6768 SSH configuration is missing, target image {0} only support SSH dev service. SSH配置缺失,当前镜像{0}只支持SSH链接方式。 请选择合适的镜像。 200 ModelArts