检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用MQTT.fx模拟恒温空调，并连接到物联网平台。操作方法请参考在线开发MQTT协议的模拟智慧路灯。
其主要功能包括： 申请记录列表查询； 申请信息查看； 数据服务审批，审批信息维护； 服务审批流程，审批过程中对数据行列级权限进行控制； 开发人员查看审批结果； 订阅方式订阅记录服务开发-在线开发； 订阅方式申请记录服务开发-离线开发。
URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取： 登录ModelArts Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。
URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取： 登录ModelArts Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。
操作日志查看 在运营管理平台里，选择菜单“系统管理 > 操作日志”，运营管理员可以查看操作日志。 父主题： 系统管理
只要是云服务平台的用户就可以被邀请，不管是个人还是企业用户都可以被邀请。 父主题： 联盟链管理
常见政策法规 具体政策法规，请参见工信部平台“政策文件”专栏：https://beian.miit.gov.cn/#/Integrated/lawStatute。
源数据库重启等操作对组合任务是否有影响？ 在业务使用过程中，Oracle等数据库可能需要扩容、重启等操作，这些操作对组合任务的影响主要包含以下两种： 如果变更中重启耗时较短，组合任务中会重试连接，恢复正常运行任务。 如果变更中重启耗时较长，任务会报错失败，等变更完成，需重启组合任务
用户创建的FDI任务，同一账号的其他用户可见吗？ FDI任务是做的用户隔离，如果没有授权，同一账号的其他用户看不到，用户要看到其他用户的任务需要通过集成应用授权。 父主题： 数据集成普通任务
VSCode远程连接时卡顿，或Python调试插件无法使用如何处理？ 问题现象 VSCode远程连接Notebook时，单击“VS Code接入”跳转至连接界面时一直卡顿，或Python调试插件无法使用。 图1 Python调试插件错误 原因分析 该问题通常由VS Code安装了第三方中文插件引起
调整灰度泳道流量 根据实际业务需要修改路由配置，调整流量至灰度泳道。 操作步骤 登录ServiceStage控制台。 单击“全链路流量控制”。 单击待操作灰度泳道所在泳道组名称（例如：lane-test），进入“全链路流量控制”页面。 单击泳道组当前关联的流量入口网关卡片上的“网关路由配置
创建空白流程服务编排 在数据发布、数据变更等流程运行过程中，用户需要通过调用流程服务API，可以将部件、BOM（Bill Of Material，物料清单）、工艺等数据传递给第三方系统，实现上下游系统之间数据同步。此时，可以通过定义流程服务编排，生成相应的流程服务API，用以后续在流程元模板的
如何使用国际化资源插件 同一个流程，可能需要同时支持多个语言，流程元模板提供了中英文切换，能够一键切换语言，提升开发效率与开发体验。 国际化资源是应用级别的插件，在任何一个流程元模板的UI编辑页面都可以访问。 国际化只针对流程元模板中的UI编辑页面，不针对流程引擎本身。 新增国际化词条
在WiseDBA中执行SQL查询及表结构查询 WiseDBA数据查询功能可以帮助业务简化现网的SQL查询流程，避免SRE直接操作数据库。 前提条件 需要具备AppStage服务运维岗位权限、服务研发岗位权限、运维管理员权限或基础运维岗位权限，权限申请操作请参见AppStage组织成员申请权限
切换offering，服务名和微服务名没有发生变化，是否需要重新注册？ STS是按照 （服务+微服务）的粒度注册微服务的，不会保存offering信息，因此如果只是切换offering，服务名和微服务名保持不变，那么在STS上不用做任何操作，可以直接使用之前注册的微服务。 父主题：
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
