检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询服务详情 功能介绍 查询模型服务详情,根据服务ID查询服务详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/services/{service_id}
新建服务、存量服务停止后再启动、存量服务失败后再启动,会立即切换使用新域名。为保障持续提供推理服务,请您及时更新业务中的预测API的域名。 如果您使用的是VPC内部节点访问ModelArts推理的在线服务,预测API切换域名后,由于内网VPC无法识别公网域名,请提交工单联系华为云技术支持打通网络。 父主题:
i.com不通过公网代理,huaweicloud.com域名在no_proxy/NO_PROXY中包含,就访问不了。 解决方式 执行以下命令查看在no_proxy/NO_PROXY中是否包含huaweicloud.com域名。 env | grep -i no_proxy 如果包
查询推理VPC访问通道信息的API 功能介绍 该接口用于查询推理VPC访问通道。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_i
于原生MiniCPM-V的代码基础适配修改,可以用于NPU芯片训练。 MiniCPM系列的最新多模态版本MiniCPM-V2.0。该模型基于MiniCPM 2.4B和SigLip-400M构建,共拥有2.8B参数。MiniCPM-V2.0具有领先的光学字符识别(OCR)和多模态理
${container_work_dir}/minicpm/MiniCPM-V-2_6/ cp -r MiniCPM-V-2_6 ${container_work_dir}/minicpm/MiniCPM-V-2_6/ 准备coco数据集。 cd MiniCPM-V/finetune/ # Download
查询Workflow Execution 功能介绍 通过ID查询Workflow Execution详情。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
复业务的能力。 云服务域名使用安全及租户内容安全策略 ModelArts服务使用的租户可见域名、租户不可见域名均满足如下安全相关要求,避免了域名使用过程中的合规和钓鱼风险。其中: 租户可见域名:指租户可访问的域名,需要格外重视安全性和合规性。 租户不可见域名:指华为云服务在内网相
NPU的推理指导(6.3.909) MiniCPM-V2.6 训练 PyTorch MiniCPM-V2.6基于DevServer适配PyTorch NPU训练指导(6.3.912) MiniCPM-V2.0 训练 推理 PyTorch MiniCPM-V2.0推理及LoRA微调基于DevServer适配PyTorch
instance_id,npu npu_aicpu_max_freq NPU的AICPU最大频率 该指标描述NPU的AICPU最大频率 MHz instance_id,npu npu_aicpu_cur_freq NPU的AICPU频率 该指标描述NPU的AICPU频率 MHz instance_id,npu
Qwen-VL基于DevServer适配Pytorch NPU的推理指导(6.3.909) MiniCPM-V2.6基于DevServer适配PyTorch NPU训练指导(6.3.912) MiniCPM-V2.0推理及LoRA微调基于DevServer适配PyTorch NPU指导(6.3
internVL2-Llama3-76B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 Ascend-vllm支持如下推理特性:
查询工作流定时调度详情 功能介绍 查询工作流调度详情。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/wor
attention和matmul类算子计算性能严重劣化。 AICPU算子:对应html中的'AICPU Issues'。部分算子因NPU支持度或者输入数据shape/dtype等原因,无法在AICORE上运行,因此会放在AICPU上进行计算,部分AICPU算子会存在明显的性能劣化。 动态shape:对应html中的'Operator
internVL2-Llama3-76B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B qwen-vl qwen-vl-chat MiniCPM-v2 gte-Qwen2-7B-instruct
llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b internvl2-26B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B Ascend-vllm支持如下推理特性:
网络链路检查 在ModelArts控制台查看Notebook实例状态是否正常,确保实例无问题。 在VS Code Terminal里执行如下命令检测SSH命令是否可用; ssh -i <密钥相对路径> -p <端口> ma-user@<域名/ip> SSH可用时跳过3继续远端排查。
internvl2-26B internvl2-40B MiniCPM-v2.6 deepseek-v2-236B deepseek-coder-v2-lite-16B qwen2-vl-7B qwen-vl qwen-vl-chat MiniCPM-v2 Ascend-vllm支持如下推理特性:
DELETE_FAILED:删除失败。 status_info String 状态描述,默认为空。该字段会补充显示状态的详细信息。如删除失败时,可通过该字段查看删除失败的原因。 grants Array of grants objects 授权用户列表。默认为空。需要与“auth_type”参数配
py头文件导入之后添加 (修改点:增加第37行)。 torch_npu.npu.set_compile_mode(jit_compile=False) AICPU算子调优 ,Double类型输入切换成为Float减少cast算子调用耗时,修改diffusion/gaussian_diffusion