使用指导-华为云

AI开发平台ModelArts-msprobe API预检

msprobe API预检 msprobe是MindStudio Training Tools工具链下精度调试部分的工具包，主要包括精度预检、溢出检测和精度比对等功能，目前适配PyTorch和MindSpore框架。这些子工具侧重不同的训练场景，可以定位模型训练中的精度问题。精度预检工具旨在计算单个API在整网计算中和标杆场景下的差异，对于无明确精度差异来源情况或者对模型了解不多的情形下都推荐使用预检工具，检查第一个步骤或Loss明显出现问题的步骤。它可以抓取模型中API输入的数值范围，根据范围随机生成输入，用相同的输入分别在NPU（GPU）和CPU上执行算子，比较输出差异。预检最大的好处是，它能根据算子（API）的精度标准来比较输出结果并判定其是否有精度问题。预检工具使用包含以下三步：dump、run_ut以及api_precision_compare。基本步骤如下：通过pip安装msprobe工具。 # shellpip install mindstudio-probe 获取NPU和GPU的dump数据。 PyTorch训练脚本插入dump接口方式如下： from msprobe.pytorch import PrecisionDebuggerdebugger = PrecisionDebugger(config_path='./config.json')...debugger.start() # 一般在训练循环开头启动工具。... # 循环体debugger.stop() # 一般在训练循环末尾结束工具。debugger.step() # 在训练循环的最后需要重置工具，非循环场景不需要。具体的config.json的配置要求请参见介绍。使用run_ut.py执行预检。 msprobe -f pytorch run_ut -api_info ./dump.json 这里-api_info指定的是步骤2导出的dump.json文件，表示整网计算过程中API的输入输出情况。执行完成run_ut命令之后将输出api_precision_compare_result_{timestamp}.csv和 api_precision_compare_details_{timestamp}.csv文。accuracy_checking_result_{timestamp}.csv属于API级，标明每个API是否通过测试。建议用户先查看accuracy_checking_result_{timestamp}.csv文件，对于其中没有通过测试的或者特定感兴趣的API，根据其API name字段在 accuracy_checking_details_{timestamp}.csv中查询其各个输出的达标情况以及比较指标。比对NPU和GPU预检结果。 msprobe -f pytorch api_precision_compare -npu /home/xxx/npu/accuracy_checking_details_{timestamp}.csv -gpu /home/xxx/gpu/accuracy_checking_details_{timestamp}.csv -o /home/xxx 这里-npu指定步骤3NPU预检结果中accuracy_checking_details_{timestamp}.csv文件路径，-gpu指定GPU预检结果accuracy_checking_details_{timestamp}.csv文件路径， -o需指定执行比对结果的存盘路径。执行完成后输出api_precision_compare_result_{timestamp}.csv和 api_precision_compare_details_{timestamp}.csv文件。用户可以通过先查看api_precision_compare_result_{timestamp}.csv文件的Forward Test Success和Backward Test Success，判断是否存在未通过测试的API，再查看api_precision_compare_details_{timestamp}.csv文件的API详细达标情况。详细工具的使用指导请参考离线预检和在线预检介绍。父主题： msprobe工具使用指导

AI开发平台ModelArts msprobe工具使用指导

硬件开发工具链平台云服务-首页

首页数字化制造云平台（MBM Space）系统“首页”如图1所示。图1 MBM Space系统首页表1 首页各功能区域说明序列区域说明 1 系统Logo/首页快速返回系统首页。 2 顶部导航栏切换各个功能模块进行业务管理，包括制造数据模型管理、计划管理、生产管理、质量管理和系统管理。 3 菜单搜索框输入菜单名称搜索，可快速进入对应菜单页面。 4 当前登录者显示当前登录用户信息，支持退出登录。 5 常用功能显示系统常用功能菜单快捷入口。父主题： MBM Space界面使用指导

硬件开发工具链平台云服务 MBM Space界面使用指导

应用与数据集成平台 ROMA Connect-业务使用介绍:功能简介

功能简介应用业务模型ABM是ROMA Connect的模型集成组件，ABM为客户提供统一的业务模型管理平台，可以提供通用的业务/技术模型定义管理，业务/技术模型对应元数据的自动/手动采集，提供模型查询、维护、业务与技术模型关联、数据关联分析等功能，同时提供数据访问管控、开放共享等能力，使用ROMA Connect进行模型集成，有如下优势：支持模型采集系统预置常用数据源的采集适配器，针对数据采集提供了数据源管理、采集任务管理功能，实现自动模型采集。支持模型管理遵循MOF规范提供业务/技术元模型管理，支持对采集的模型进行搜索配置、业务与技术数据关联、定义业务流程模板等功能。支持模型访问提供模型查询搜索功能，便于用于快速浏览模型数据；针对第三方应用开放模型查询搜索能力，实现模型共享。

应用与数据集成平台 ROMA Connect 应用业务模型使用指导

分布式缓存服务 DCS-配置Redis Pipeline:约束与限制

约束与限制 Pipeline不能保证原子性。 Pipeline模式只是将客户端发送命令的方式改为批量发送命令，而服务端在批量处理命令的数据流时，仍然是解析出多个单命令并按顺序执行，各个命令相互独立，即服务端仍有可能在该过程中执行其他客户端的命令。如需保证原子性，请使用事务或Lua脚本。若Pipeline执行过程中发生错误，不支持回滚。 Pipeline没有事务的特性，如待执行的命令前后存在依赖关系，请勿使用Pipeline。如果某些客户端（例如redis-py）在实现Pipeline时使用事务命令MULTI、EXEC进行伪装，请您在使用过程中关注Pipeline与事务的区别，否则可能会产生报错，关于事务的限制请参见Redis transactions。

分布式缓存服务 DCS 使用指导

分布式缓存服务 DCS-配置Redis Pipeline:方案概述

方案概述分布式缓存服务Redis支持原生Redis的Pipeline（管道传输）机制，通过Pipeline机制可以将多个命令同时发给Redis服务端，减少网络延迟，提高性能。通常在非Pipeline的模式下，Redis客户端（Client）向Redis发送一个命令后，会等待服务端（Server）返回结果，然后再发送下一个命令，以此类推。但在Pipeline模式下，客户端发送一个命令后无需等待服务端返回执行结果，会继续发送其他命令。在全部命令发送完毕后，客户端关闭请求，开始接收响应，把收到的执行结果与之前发送的命令按顺序进行匹配。图1 非Pipeline模式与Pipeline模式的网络通信示意图在Pipeline模式的具体实现中，大部分Redis客户端采用批量处理的方式，即一次发送多个命令，在接收完所有命令执行结果后再返回给上层业务。通过Pipeline模式可降低网络往返时延（Round-trip time，简称RTT），减少read()和write()的系统调用和进程切换次数，从而提升程序的执行效率与性能。因此，在需要执行Redis批量操作，且用户无需立即获得每个操作结果的场景下，可以使用Pipeline作为优化性能的批处理工具。使用Pipeline时客户端将独占与服务器端的连接，此期间将不能进行其他“非Pipeline”的操作，直至Pipeline被关闭。如果需要同时执行其他操作，可以为Pipeline操作单独建立一个连接，将其与常规非Pipeline操作分开。关于Pipeline的更多介绍，请参见Redis pipeline。

分布式缓存服务 DCS 使用指导

华为云WeLink-执行动作

执行动作创建执行动作步骤如下：点击连接器名称，跳转到连接器详情页面，点击“执行动作” 点击“创建执行动作” 输入“执行动作名称”，“接口路径”，并点“下一步”，接口路径目前只支持GET和POST两种方式根据API入参结构，点击“添加子节点”配置API入参的key值，类型和名称，配置完成后，点“下一步” 根据参数的json层级结构配置入参，如下：根据API的出参结构，点击“添加子节点”或者“添加兄弟节点”配置API出参的key值，类型和名称根据出参json结构配置响应体/响应头，如下：点击“添加配置项”，选择参数进行接口校验。点击“保存”，执行动作配置成功，跳转到执行动作列表页面。父主题：连接器使用指导

华为云WeLink 连接器使用指导

云服务器内容精选

使用指导

7*24

备案

专业服务

退订

建议反馈

售前咨询热线