正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Key)加密调用请求,具体可参见用户AK-SK认证模式。 图4 参数填写 在Body页签,根据AI应用的输入参数不同,可分为2种类型:文件输入、文本输入。 文件输入 选择“form-data”。在“KEY”值填写AI应用的入参,和在线服务的输入参数对应,比如本例中预测图片的参数为“images”。然
线下容器镜像构建及调试 镜像构建及调试与单机单卡相同,请参考线下容器镜像构建及调试。 父主题: 单机多卡
进行进一步诊断与定位,进而发挥NPU的能力。 性能调优可以先将重点放在NPU不亲和的问题处理上,确保一些已知的性能问题和优化方法得到较好的应用。通用的训练任务调优、参数调优可以通过可观测数据来进行分析与优化,一般来说分段对比GPU的运行性能会有比较好的参考。算子级的调优某些情况下
参数说明 表1 get_train_instance_types参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。 表2 成功响应参数说明 参数类型 描述 List 资源规格参数列表。 表3 调用训练接口失败响应参数
# 推理工具 代码上传至OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后,将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。 <bucket_name>
方法1:使用导入功能。将图片上传至OBS任意目录,通过“从OBS目录导入”方式导入到已有数据集。 方法2:使用同步数据源功能。将图片上传到数据集输入目录下(或者其子目录),单击数据集详情页中的“同步数据源”将新增图片导入。需注意的是,同步数据源同时也会将OBS已删除的文件从数据集也删除,请谨慎操作。
理工具pip已经存在。 C:\Users\xxx>pip --version pip **.*.* from c:\users\xxx\appdata\local\programs\python\python**\lib\site-packages\pip (python *.*)
线下容器镜像构建及调试 镜像构建及调试与单机单卡相同,请参考线下容器镜像构建及调试。 父主题: 多机多卡
方式一:在部署边缘服务时添加如下环境变量: MODELARTS_SSL_ENABLED = false 图1 添加环境变量 方式二:在使用自定义镜像导入模型时,创建AI应用页面中“容器调用接口”设置为“http”,再部署边缘服务。 父主题: 边缘服务
周期,确保了模型在各类应用场景下的高性能表现,让客户能够更加聚焦于业务逻辑与创新应用的设计。 资源易获取,按需收费,按需扩缩,支撑故障快恢与断点续训 企业在具体使用大模型接入企业应用系统的时候,不仅要考虑模型体验情况,还需要考虑模型具体的精度效果,和实际应用成本。 MaaS提供灵
的指标数据。 开通前需要确认使用的端口号,端口号可选取10120~10139范围内的任一端口号,请确认选取的端口号在各个节点上都没有被其他应用占用。 Kubernetes下Prometheus对接ModelArts 使用kubectl连接集群,详细操作请参考通过kubectl连接集群。
指导 ModelArts提供了丰富的关于Server使用NPU进行训练推理的案例指导,涵盖了LLM大语言模型、AIGC文生图、数字人等主流应用场景。您可单击链接,即可跳转至相应文档查看详细指导。 LLM大语言模型 主流开源大模型基于DevServer适配PyTorch NPU训练指导(6
ing/output DS_CONFIG=${HOME}/ChatGLM-6B-main/ptuning/ds_config.json APP_SCRIPT=${HOME}/ChatGLM-6B-main/ptuning/main.py MASTER_PORT=$(shuf -n
参数说明 表1 get_train_instance_types参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。 表2 get_framework_list成功响应参数说明 参数类型 描述 List 引擎规格参数列表,请参见表3。
基于MindSpore Lite的模型转换 迁移推理业务的整体流程如下: 模型准备 转换关键参数准备 模型转换 推理应用适配 主要通过MindSpore Lite(简称MSLite)进行模型的转换,进一步通过MindSpore Runtime支持昇腾后端的能力来将推理业务运行到昇腾设备上。
资源id,如在线服务的服务ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 该字段内容填为“application/json;charset=utf8。 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取
该报错说明预测使用的数据行数小于window超参值。 在使用订阅算法时序预测-time_series_v2训练时,超参:window设置为60。训练完成并创建AI应用后,部署在线服务,进行预测,当预测的数据行数小于window超参值时,日志中有报错信息:ERROR: data is shorter than
张图片中要识别多个物体或者物体的计数等。可应用于园区人员穿戴规范检测和物品摆放的无人巡检。 预测分析 预测分析项目,是一种针对结构化数据的模型自动训练应用,能够对结构化数据进行分类或者数据预测。可用于用户画像分析,实现精准营销。也可应用于制造设备预测性维护,根据设备实时数据的分析,进行故障识别。
Started server process [2878]INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on
"value" : "ucb", "type" : "String" }, { "key" : "kappa", "value" : "2.5", "type" : "Float" }, { "key"