检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命令行程序的用户，obsutil是执行批量处理、自动化任务的好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作，或者您习惯于使用API和SDK，推荐选择OBS的API或SDK方法创建桶和上传对象。 上述说明仅罗列OBS常用的使用方式和工具，更多OBS工具说明，请参见《OBS工具指南》。
onnx模型初始化及推理的接口替换为MindSpore Lite的接口即可。 MindSpore Lite提供了Python、C++以及JAVA三种应用开发接口。此处以Python接口为例，介绍如何使用MindSpore Lite Python API构建并推理Stable Di
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8
如果您需要将ModelArts Standard集成到第三方系统，用于二次开发，请使用API方式访问ModelArts，具体操作和API详细描述，请参见《API参考》。 云原生方式 如果您使用的是ModelArts Lite Server形态，您可以通过弹性公网IP直接访问云主机，详情请参见《ModelArts
机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 镜像版本
0、alpha=1.0，所以是等价替换。 npu_scaled_masked_softmax亲和api替换。 图2 亲和api替换 连续性转换。 图3 连续性转换 数组切片操作改用torch接口方式。 图4 数组切片操作修改1 图5 数组切片操作修改2 gelu小算子使用torch的f
pip install tailor-0.3.4-py3-none-any.whl 使用指导 tailor支持“命令行”和“Python API”两种方式使用。 命令行方式 命令行运行示例： tailor --model_path="./resnet50-v2-7.onnx"--config_path="
} } } } }] apis定义提供模型对外Restfull api数据定义，用于定义模型的输入、输出格式。 创建模型填写apis。在创建的模型部署服务成功后，进行预测时，会自动识别预测类型。 创建模型时不填写apis。在创建的模型部署服务成功后，进行预测，
rue来提升分析速度。 6 disable_affinity_api False 否 关闭亲和算子（融合算子、亲和优化器）API分析。对于首次从gpu迁移至npu的训练任务性能分析，建议保留该参数，替换亲和算子API通常能获得一定性能收益。对于完成迁移后在npu上长训的训练任务，
ModelArts模型负载 1分钟 req_count_2xx 2xx响应次数 统计api接口2xx响应的次数 ≥Count/min ModelArts在线服务 1分钟 req_count_4xx 4xx异常次数 统计api接口返回4xx错误的次数 ≥Count/min ModelArts在线服务
数示例：mode=True。默认值：False。 即使在相同的硬件和输入下，API多次执行的结果也可能不同，开启确定性计算是为了保证在相同的硬件和输入下，API多次执行的结果相同。 确定性计算会导致API执行性能降低，通常不需要在精度问题刚开始定位时就开启，而是建议在发现模型多次执行结果不同的情况下时再开启。
由于OBS管理控制台不支持对OBS的文件重命名，当您需要对OBS文件进行重命名时需要通过调用MoXing API实现，在已有的或者新创建的Notebook中，执行如下命令，通过接口对OBS中的文件进行重命名。 具体操作如下： 如下示例为将文件“obs_file.txt”重命名为“obs_file_2
机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 镜像版本
ap-add的启动命令，在模型发布时将会置空。 “apis定义” 提供模型对外Restfull api数据定义，用于定义模型的输入、输出格式。apis定义填写规范请参见模型配置文件编写说明中的apis参数说明，示例代码请参见apis参数代码示例。 确认信息填写无误，单击“立即创建”，完成模型创建。
gr import os POD_IP = os.getenv('POD_IP') // 获取容器IP ROOT_PATH = os.getenv('ROOT_PATH') //获取服务根路径 def greet(name): return "Hello " + name
输入如下用户登录信息，单击“登录”。 Name：自定义用户名，仅用于VS Code页面展示，不与任何华为云用户关联。 AK、SK：在“账号中心 > 我的凭证 > 访问密钥”中创建访问密钥，获取AK、SK（参考链接）。 选择站点：此处的站点必须和远程连接的Notebook在同一个站点，否则会导致连接失败。
方式 # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
修改重要参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen
推理场景下的子图数据调优分析，给出对应融合算子的调优建议。 推理、训练场景下对Profiling timeline单卡数据进行调优分析，给出相关亲和API替换的调优建议。 推理、训练场景下对Profiling单卡数据进行调优分析，给出AICPU相关调优建议。 推理、训练场景下对Profili
从OBS中或者从容器镜像中导入模型时，开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。配置文件中的“dependencies”，表示配置模型推理代码需要的依赖包，需要提供依赖包名、安装方式和版本约
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
