正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂载点 是否只读 备注 /xxx 否 专属池使用SFS盘挂载的目录,路径由客户自己指定。 /home/ma-user/modelarts 否 空文件夹,建议用户主要用这个目录。 /cache 否 裸机规格支持,挂载宿主机NVMe的硬盘。 /dev/shm 否 用于PyTorch引擎加速。
如何在ModelArts上获得RANK_TABLE_FILE进行分布式训练? 如何查询自定义镜像的cuda和cudnn版本? Moxing安装文件如何获取? 如何使用soft NMS方法降低目标框堆叠度 多节点训练TensorFlow框架ps节点作为server会一直挂着,Model
在线服务的请求模式。 同步请求:单次推理,可同步返回结果(约<60s)。例如: 图片、较小视频文件。 异步请求:单次推理,需要异步处理返回结果(约>60s)。例如: 实时视频推理、大视频文件。 创建时间 AI应用的创建时间。 描述 AI应用的描述。 操作 部署:将AI应用发布为在线服务、批量服务或边缘服务。
max_model_len is greater than the drived max_model_len。 解决方法:修改config.json文件中的"seq_length"的值,"seq_length"需要大于等于 --max-model-len的值。 config.json存在模
用户发布资产时提供的联系人姓名、手机号、邮箱。 资产管理 对于用户发布在AI Gallery中的资产,AI Gallery会做统一的保存管理。 对于文件类型的资产,AI Gallery会将资产保存在AI Gallery官方的OBS桶内。 对于镜像类型的资产,AI Gallery会将资产保存在AI
和HTTPS两种传输协议,为保证数据传输的安全性,推荐用户使用更加安全的HTTPS协议。 数据完整性检查 推理部署功能模块涉及到的用户模型文件和发布到AIGallery的资产在上传过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。ModelArts提供通过计算S
ModelArts支持使用ECS创建专属资源池吗? 不支持。创建资源池时,只能选择界面提供的“未售罄”节点规格进行创建。专属资源池的节点规格后台是对应的ECS资源,但是无法使用账号下购买的ECS,作为ModelArts专属资源池。 父主题: Standard资源池
1、在容器中使用ma-user用户运行以下命令下载并安装AutoAWQ源码。 bash build.sh 2、运行“examples/quantize.py”文件进行模型量化,量化时间和模型大小有关,预计30分钟~3小时。 export ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化
的OBS目录。即数据集存储的位置。 在SDK中调用对应OBS目录下的数据。 SDK的下载和使用,请参见《SDK参考》。 可参考从OBS下载文件,通过接口直接使用上述步骤中下载的数据集。 父主题: AI Gallery
s[i : i + 1])[0] for i in range(latents.shape[0])]) ... 修改后的文件参考Gitee代码库中的如下两个文件: pipeline_onnx_stable_diffusion_img2img_mslite.py mslite_model_proxy
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值,必选。 excel_addr: 待处理的excel文件的地址,必选。 dataset_name: 处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count:
方法2:使用同步数据源功能。将图片上传到数据集输入目录下(或者其子目录),单击数据集详情页中的“同步数据源”将新增图片导入。需注意的是,同步数据源同时也会将OBS已删除的文件从数据集也删除,请谨慎操作。 方法3:新建数据集。将图片上传至OBS任意目录,可以直接使用这些图片目录作为数据集的输入目录,新建一个数据集。
1、在容器中使用ma-user用户运行以下命令下载并安装AutoAWQ源码。 bash build.sh 2、运行“examples/quantize.py”文件进行模型量化,量化时间和模型大小有关,预计30分钟~3小时。 pip install transformers==4.41.0 # AutoAWQ未适配transformers
0版本。 仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称
illegal 图片非RGB模式 convert to rgb 系统已将图片转成RGB格式处理,不需要用户处理。 5 type illegal 非图片文件,但可以转换成JPG convert to jpg 系统已将图片转换成JPG格式处理,不需要用户处理。 父主题: 模型训练
可调整参数:SEQ_LEN要处理的最大的序列长度(seq-length),参数值过大很容易发生显存溢出的错误。 可添加参数:在3_training.sh文件中添加开启重计算的参数。其中recompute-num-layers的值为模型网络中num-layers的参数值。 --recompute-granularity
可调整参数:SEQ_LEN要处理的最大的序列长度(seq-length),参数值过大很容易发生显存溢出的错误。 可添加参数:在3_training.sh文件中添加开启重计算的参数。其中recompute-num-layers的值为模型网络中num-layers的参数值。 --recompute-granularity
source_type String 模型来源的类型。 当模型为自动学习部署过来时,取值为“auto”。 当模型是用户通过训练作业或OBS模型文件部署时,此值为空。 model_type String 模型类型,取值为:TensorFlow/MXNet/Spark_MLlib/Sci
可调整参数:SEQ_LEN要处理的最大的序列长度(seq-length),参数值过大很容易发生显存溢出的错误。 可添加参数:在3_training.sh文件中添加开启重计算的参数。其中recompute-num-layers的值为模型网络中num-layers的参数值。 --recompute-granularity
可调整参数:SEQ_LEN要处理的最大的序列长度(seq-length),参数值过大很容易发生显存溢出的错误。 可添加参数:在3_training.sh文件中添加开启重计算的参数。其中recompute-num-layers的值为模型网络中num-layers的参数值。 --recompute-granularity