检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理服务性能评测 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912）
示例代码 1 2 /// 修改语言 [HWMSdk setLanguage:HWMSdkLanguageType]; setLanguage:languageCode: 接口描述 该接口用于自定义设置SDK国际化语言,默认是中文。 注意事项 实现自定义语言,要求在 en.lproj
语言生成 文本摘要 在不改变文档语义的情况下总结出文档的主要内容。可应用于新闻摘要生成、文献摘要生成、搜索结果片段生成、商品评论摘要生成等场景。 诗歌生成 根据用户输入的诗歌主题，自动赋诗。生成的诗歌种类多样，言简意深，对仗工整，平仄协调。用户不仅可以指定诗歌类型（五言绝句、七言
设置语言 接口描述 调用此接口，可以设置会议界面语言。 1、入会时，该接口必须在joinConf接口的then中调用。 2、入会后，如果要切换界面显示语言，该接口可以随时调用。 3、如果不调用该接口，会议界面语言默认为中文。 方法定义 1 setLang(lang):void 参数描述
该接口用于自定义设置SDK国际化语言。默认是中文。 注意事项 实现自定义语言，要求在 \HwmSdk\sdkResources\language\ 目录下创建对应的国际化文件。如新增阿拉伯语则可以创建 \ar\temp.js，通过该接口设置的语言应与系统当前语言保持一致 该接口为异步接口
设置语言 setLanguage 接口描述 该接口设置SDK国际化语言。默认是中文。 注意事项 实现自定义语言，要求在主工程的资源文件（路径：/src/main/res/）中创建对应的国际化文件，如新增阿拉伯语则可以创建/values-ar/string.xml。新增的国际化语言，
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
2022年7月10号前创建的共享型实例均未开启性能保障模式，您可以参考本节操作开启性能保障模式。 使用须知 性能保障模式开启后，无法关闭。 性能保障模式开启后，将按需收取弹性负载均衡实例费用。具体价格请参考价格详情。 开启性能保障模式 进入弹性负载均衡列表页面。 单击需要开启性能保障模式的共享型实例，进入“基本信息”页面。
性能总览 在9.1.0版本，我们实现了很多性能优化特性，提升整体开箱的SQL查询性能。以TPC-H、TPC-DS 1TB作为性能测试对比的基准，重点对比最新9.1.0版本与8.3.0版本的性能提升。集群规模为6节点，其中各节点的规格为16U 64G，累计96U 384G。从以下测试结果可以看到：
语言切换 您可以在“系统管理 > 系统设置”页面系统支持切换语言设置。 操作步骤 使用系统管理员sysadmin账号登录API数据安全防护系统web控制台。 在左侧导航栏，选择“系统管理 > 系统设置”。 单击“通用设置”页签的默认语言下拉框选择语言（可选中文或English）。
设置语言 接口功能 该接口用于设置语言，默认是中文。注意事项：1、实现自定义语言，windows平台要求在 \HwmSdk\sdkResources\language\ 目录下创建对应的国际化文件，如新增阿拉伯语则可以创建 \ar\temp.js；mac平台要求在 /HWMUISDK
SFS容量型文件系统容量较小 SFS容量型文件系统的性能与容量相关：20MB/TB，100TB的文件系统最大带宽为2GB，如需更大带宽则需要购买更大容量的文件系统。如果需要更高性能，请提交工单申请。 并发数过高或过低 并发数过高或过低均有可能导致文件系统性能变差，请提交工单进行技术咨询。 日志文件路径中包含变量
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
