检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建服务、存量服务停止后再启动、存量服务失败后再启动,会立即切换使用新域名。为保障持续提供推理服务,请您及时更新业务中的预测API的域名。 如果您使用的是VPC内部节点访问ModelArts推理的在线服务,预测API切换域名后,由于内网VPC无法识别公网域名,请提交工单联系华为云技术支持打通网络。 父主题:
复业务的能力。 云服务域名使用安全及租户内容安全策略 ModelArts服务使用的租户可见域名、租户不可见域名均满足如下安全相关要求,避免了域名使用过程中的合规和钓鱼风险。其中: 租户可见域名:指租户可访问的域名,需要格外重视安全性和合规性。 租户不可见域名:指华为云服务在内网相
批量更新样本标签 功能介绍 批量更新样本标签,包括添加、修改和删除样本标签。当请求体中单个样本的“labels”参数传空列表时,表示删除该样本的标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
在线服务和批量服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 批量服务一次性推理批量数据,处理完服务结束。在线服务提供API接口,供用户调用推理。 父主题:
点等问题。工具的输出数据为csv格式,可直接拖入Ascend Insight进行可视化查看。 下载工具源码使用。 集群分析工具 Ascend Insight 性能可视化工具,采集好的profiling数据可通过该工具进行可视化展示,辅助人工进行profiling数据查看和分析。
1。 表1 批量服务参数 参数 说明 名称 批量服务名称。 服务ID 批量服务的ID。 状态 批量服务当前状态。 任务ID 批量服务的任务ID。 实例规格 批量服务的节点规格。 实例数 批量服务的节点个数。 任务开始时间 本次批量服务的任务开始时间。 环境变量 批量服务创建时填写的环境变量。
查看批量服务的事件 服务的(从用户可看见部署服务任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 表1 事件 事件类型 事件
性能可视化工具与性能分析工具 对于高阶的调优用户,可以使用可视化profiling数据查看数据详情并分析可优化点,昇腾提供了Ascend-Insight可视化工具,相比于Chrometrace等工具提供了更优的功能和性能。详细信息,请参见昇腾Ascend-Insight用户指南。
批量删除标签 功能介绍 批量删除标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{dataset
批量修改标签 功能介绍 批量修改标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/datasets/{dataset_
链接信息 使用kubectl工具。 若通过内网使用kubectl工具,需要将kubectl工具安装在和集群在相同vpc下的某一台机器上。单击kubectl后的“配置”按钮。按照界面提示步骤操作即可。 图3 通过内网使用kubectl工具 通过公网使用kubectl工具,可以将kubectl安装在任一台可以访问公网的机器。
训练benchmark工具 工具介绍及准备工作 训练性能测试 训练精度测试 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.910)
PyCharm ToolKit工具中Edit Credential时,出现错误 问题现象 PyCharm ToolKit工具中Edit Credential时,提示Validate Credential error。 或 原因分析 可能原因一:Region等信息配置不正确 可能原
训练benchmark工具 工具介绍及准备工作 训练性能测试 训练精度测试 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.911)
批量添加样本 功能介绍 批量添加样本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{dataset
管理批量推理作业 查看批量服务详情 查看批量服务的事件 管理批量服务生命周期 修改批量服务配置 父主题: 使用ModelArts Standard部署模型并推理预测
当修改了服务的某些参数配置时,系统会自动重启服务使修改生效。在提交修改服务任务时,如果涉及重启,会有弹窗提醒。批量服务参数说明请参见将模型部署为批量推理服务。 父主题: 管理批量推理作业
批量删除样本 根据样本的ID列表批量删除数据集中的样本。 dataset.delete_samples(samples) 示例代码 批量删除数据集中的样本 from modelarts.session import Session from modelarts.dataset import
批量删除样本 功能介绍 批量删除样本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{dataset
在节点页签,单击选择“配置工具”,弹出该节点的配置工具页面。 在配置工具页面,单击“下载”启动下载任务。当配置工具的状态记录中“工具状态”为“下载完成”时表示下载完成,工具包存放在“下载位置”的目录下。 如果下载失败,单击“下载”可以重新下载。 登录云服务器查看工具包是否下载成功。 在