云服务器内容精选
-
ai_watchdog_monitor_status 表1 ai_watchdog_monitor_status参数说明 参数 类型 描述 metric_name text metric指标名称： tps：TPS。 tps_hourly：每小时的TPS均值。 shared_used_mem：共享内存使用量（MB）。 dynamic_used_shrctx：共享内存上下文使用量（MB）。 other_used_mem：其他内存使用量（MB）。 process_used_mem：系统常驻内存使用量（MB）。 dynamic_used_mem：动态内存使用量（MB）。 malloc_failures：每个采集间隔内的内存分配失败次数。 D_state_rate：D状态线程比例。 R_state_rate：R状态线程比例。 S_state_rate：S状态线程比例。 db_state：数据库的状态（68表示D、82表示R、83表示S）。 cpu_usage：CPU使用率，上限100。 disk_io：两个采集间隔内的磁盘IO延迟。 network_io：两个采集间隔内的网络IO延迟。 threadpool_usage：线程池使用率。 threadpool_hang_rate：线程池group处于hang状态的比例。 max_length int 采集队列长度。 current_length int 当前采集到的样本数。 collection_interval int 采集间隔，单位秒。 latest_value int 上次采集到的值，没采集到为null。 last_report timestamp 上次采集时刻。 父主题： AI Watchdog
-
ai_watchdog_monitor_status 表1 ai_watchdog_monitor_status参数说明 参数 类型 描述 metric_name text metric指标名称： tps：TPS。 tps_hourly：每小时的TPS均值。 shared_used_mem：共享内存使用量（MB）。 dynamic_used_shrctx：共享内存上下文使用量（MB）。 other_used_mem：其他内存使用量（MB）。 process_used_mem：系统常驻内存使用量（MB）。 dynamic_used_mem：动态内存使用量（MB）。 malloc_failures：每个采集间隔内的内存分配失败次数。 D_state_rate：D状态线程比例。 R_state_rate：R状态线程比例。 S_state_rate：S状态线程比例。 db_state：数据库的状态（68表示D、82表示R、83表示S）。 cpu_usage：CPU使用率，上限100。 disk_io：两个采集间隔内的磁盘I/O延迟。 network_io：两个采集间隔内的网络I/O延迟。 threadpool_usage：线程池使用率。 threadpool_hang_rate：线程池group处于hang状态的比例。 max_length int 采集队列长队。 current_length int 当前采集到的样本数。 collection_interval int 采集间隔，单位秒。 latest_value int 上次采集到的值，没采集到为null。 last_report timestamp 上次采集时刻。 父主题： AI Watchdog
-
ai_watchdog_monitor_status 表1 ai_watchdog_monitor_status参数说明 参数 类型 描述 metric_name text metric指标名称： tps：TPS。 tps_hourly：每小时的TPS均值。 shared_used_mem：共享内存使用量（MB）。 dynamic_used_shrctx：共享内存上下文使用量（MB）。 other_used_mem：其他内存使用量（MB）。 process_used_mem：系统常驻内存使用量（MB）。 dynamic_used_mem：动态内存使用量（MB）。 malloc_failures：每个采集间隔内的内存分配失败次数。 D_state_rate：D状态线程比例。 R_state_rate：R状态线程比例。 S_state_rate：S状态线程比例。 db_state：数据库的状态（68表示D、82表示R、83表示S）。 cpu_usage：CPU使用率，上限100。 disk_io：两个采集间隔内的磁盘IO延迟。 network_io：两个采集间隔内的网络IO延迟。 threadpool_usage：线程池使用率。 threadpool_hang_rate：线程池group处于hang状态的比例。 max_length int 采集队列长度。 current_length int 当前采集到的样本数。 collection_interval int 采集间隔，单位秒。 latest_value int 上次采集到的值，没采集到为null。 last_report timestamp 上次采集时刻。 父主题： AI Watchdog
-
GS_MODEL_WAREHOUSE GS_MODEL_WAREHOUSE系统表用于存储AI引擎训练模型，其中包含模型，训练过程的详细描述。 表1 GS_MODEL_WAREHOUSE字段 名称 数据类型 描述 oid oid 隐含列。 modelname name 唯一约束。 modelowner oid 模型拥有者的OID。 createtime timestamp without time zone 模型创建的时间。 processedtuples integer 训练涉及的元组数。 discardedtuples integer 未参加训练的不合格元组数。 preprocesstime real 数据预处理时长。 exectime real 训练时长。 iterations integer 迭代轮次。 outputtype oid 模型输出的数据类型OID。 modeltype text AI算子的类型名称。 query text 创建模型所执行的query语句。 modeldata bytea 保存的二进制模型信息。 weight real[] 目前只适用于GD算子模型。 hyperparametersnames text[] 涉及的超参名称。 hyperparametersvalues text[] 超参所对应的取值。 hyperparametersoids oid[] 超参对应的数据类型OID。 coefnames text[] 模型参数名称。 coefvalues text[] 模型参数对应的取值。 coefoids oid[] 模型参数对应的数据类型OID。 trainingscoresname text[] 度量模型性能方法的名称。 trainingscoresvalue real[] 度量模型性能方法的数值。 modeldescribe text[] 模型的描述信息。 父主题： AI
-
ai_watchdog_monitor_status 表1 ai_watchdog_monitor_status参数说明 参数 类型 描述 metric_name text metric指标名称： tps：TPS。 tps_hourly：每小时的TPS均值。 shared_used_mem：共享内存使用量（MB）。 dynamic_used_shrctx：共享内存上下文使用量（MB）。 other_used_mem：其他内存使用量（MB）。 process_used_mem：系统常驻内存使用量（MB）。 dynamic_used_mem：动态内存使用量（MB）。 malloc_failures：每个采集间隔内的内存分配失败次数。 D_state_rate：D状态线程比例。 R_state_rate：R状态线程比例。 S_state_rate：S状态线程比例。 db_state：数据库的状态（68表示D、82表示R、83表示S）。 cpu_usage：CPU使用率，上限100。 disk_io：两个采集间隔内的磁盘I/O延迟。 network_io：两个采集间隔内的网络I/O延迟。 threadpool_usage：线程池使用率。 threadpool_hang_rate：线程池group处于hang状态的比例。 max_length int 采集队列长队。 current_length int 当前采集到的样本数。 collection_interval int 采集间隔，单位秒。 latest_value int 上次采集到的值，没采集到为null。 last_report timestamp 上次采集时刻。 父主题： AI Watchdog
-
GS_MODEL_WAREHOUSE GS_MODEL_WAREHOUSE系统表用于存储AI引擎训练模型，其中包含模型，训练过程的详细描述。 表1 GS_MODEL_WAREHOUSE字段 名称 数据类型 描述 oid oid 隐含列。 modelname name 唯一约束。 modelowner oid 模型拥有者的OID。 createtime timestamp without time zone 模型创建的时间。 processedtuples integer 训练涉及的元组数。 discardedtuples integer 未参加训练的不合格元组数。 preprocesstime real 数据预处理时长。 exectime real 训练时长。 iterations integer 迭代轮次。 outputtype oid 模型输出的数据类型OID。 modeltype text AI算子的类型名称。 query text 创建模型所执行的query语句。 modeldata bytea 保存的二进制模型信息。 weight real[] 目前只适用于GD算子模型。 hyperparametersnames text[] 涉及的超参名称。 hyperparametersvalues text[] 超参所对应的取值。 hyperparametersoids oid[] 超参对应的数据类型OID。 coefnames text[] 模型参数名称。 coefvalues text[] 模型参数对应的取值。 coefoids oid[] 模型参数对应的数据类型OID。 trainingscoresname text[] 度量模型性能方法的名称。 trainingscoresvalue real[] 度量模型性能方法的数值。 modeldescribe text[] 模型的描述信息。 父主题： AI
-
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu.py --model /home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。
-
应用场景 在数字化时代，新闻的生成与传播速度不断刷新记录。在ModelArts Studio大模型即服务平台（下面简称为MaaS），使用Llama3-8B模型框架可以实现新闻自动分类，能够高效处理和分类大量新闻内容。 该解决方案可以应用于如下场景： 新闻门户网站： 自动将新闻内容归类到相应板块，如科技、体育或国际新闻，以提升用户体验和内容检索效率。 社交媒体平台： 对用户分享的新闻链接进行智能分类，帮助用户迅速定位到感兴趣的话题。 内容推荐系统： 根据用户的阅读偏好和历史行为，智能推荐相关新闻，增强用户粘性和满意度。 新闻分析工具： 为分析师提供自动分类的新闻数据，便于进行市场趋势和热点分析。
-
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu.py --model /home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。
-
Step1 环境准备 在节点自定义目录${node_path}下创建config.yaml文件 apiVersion: apps/v1 kind: Deployment metadata: name: yourapp labels: app: infers spec: replicas: 1 selector: matchLabels: app: infers template: metadata: labels: app: infers spec: schedulerName: volcano nodeSelector: accelerator/huawei-npu: ascend-1980 containers: - image: ${image_name} # 推理镜像名称 imagePullPolicy: IfNotPresent name: ${container_name} securityContext: runAsUser: 0 ports: - containerPort: 8080 command: - "sleep" - "1000000000000000000" resources: requests: huawei.com/ascend-1980: "8" # 需求卡数，key保持不变。 limits: huawei.com/ascend-1980: "8" # 限制卡数，key保持不变。 volumeMounts: # 容器内部映射路径 - name: ascend-driver #驱动挂载，保持不动 mountPath: /usr/local/Ascend/driver - name: ascend-add-ons #驱动挂载，保持不动 mountPath: /usr/local/Ascend/add-ons - name: hccn #驱动hccn配置，保持不动 mountPath: /etc/hccn.conf - name: localtime mountPath: /etc/localtime - name: npu-smi # npu-smi mountPath: /usr/local/sbin/npu-smi - name: model-path # 模型权重路径 mountPath: ${model-path} - name: node-path # 节点自定义目录，该目录下包含pod配置文件config.yaml mountPath: ${node-path} volumes: # 物理机外部路径 - name: ascend-driver hostPath: path: /usr/local/Ascend/driver - name: ascend-add-ons hostPath: path: /usr/local/Ascend/add-ons - name: hccn hostPath: path: /etc/hccn.conf - name: localtime hostPath: path: /etc/localtime - name: npu-smi hostPath: path: /usr/local/sbin/npu-smi - name: model-path hostPath: path: ${model-path} - name: node-path hostPath: path: ${node-path} 参数说明： ${container_name}：容器名称，此处可以自己定义一个容器名称，例如ascend-vllm。 ${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml。 ${model-path}：Step1 上传权重文件中上传的模型权重路径。 参考Step4 创建pod创建pod以用于后续进行模型量化
-
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu.py --model /home/ma-user/Qwen1.5-72B-Chat-AWQ 参数说明： model：模型路径。
-
步骤五 部署服务 单击AI应用名称，进入AI应用详情页，单击部署在线服务。 图7 部署在线服务 填写如下服务部署参数。 名称： 服务的名称，按照实际需要填写 是否自动停止：如果配置自动停止，服务会按照配置的时间自动停止。如果需要常驻的服务，建议关掉该按钮。 描述：按照需要填写。 资源池：选择专属资源池。若之前未购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 硬盘空间：至少200GB。 昇腾资源规格：可以申请Ascend: 1* ascend-snt9b(32GB)或Ascend: 1* ascend-snt9b(64GB)规格。请按需选择需要的规格，64GB规格的推理耗时更短。 推荐使用“西南-贵阳一”Region上的昇腾资源。 AI应用来源： 我的AI应用。 选择AI应用及其版本：此处选择上一步中创建的sdxl-webui-pytorch:0.0.1应用。 计算节点规格： 按需选择Ascend: 1* ascend-snt9b(32GB)或Ascend: 1* ascend-snt9b(64GB)。 图8 填写服务部署参数 选择开启APP认证并选择应用。 图9 开启APP认证 按照上述配置完参数后，单击“下一步”， 确认信息无误后，单击“提交”，完成服务的部署。
-
步骤六 访问在线服务 在Chrome浏览器中安装ModHeader插件。 图10 安装ModHeader插件 Chrome浏览器安装ModHeader插件后，可能会导致访问不了Modelarts平台，访问Modelarts时需要临时禁用ModHeader插件。或者使用Edge登录Modelarts，使用Chrome安装插件访问页面。 打开ModHeader，单击添加MOD。 图11 添加MOD 选择添加Request header。 图12 添加Request header 进入在线服务详情，查看Key值和Value值。 Key值固定为X-Apig-AppCode，Value值为APP认证的app_code值，在服务调用指南tab的APP认证API处展开，进行AppCode管理设置。 图13 获取Key值和Value值 将在ModHeader插件中添加Key值和Value值。 图14 添加Key和value 进入在线服务详情页，查看APP认证方式的服务API。 图15 API接口公网地址 复制API接口公网地址，并在地址后添加"/"，进行页面访问，例如： https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/abc104bb-d303-4ffb-a8fa-XXXXXXXXX/ 图16 访问在线服务 输入Prompt，修改所需要的请求参数（如Width、Height），进行Prompt请求。 图17 填写请求参数 表1 SDXL模型参数及其含义 参数名称 说明 是否必选 默认值 prompt 提示词，根据提示词生成含有对应内容的图像 是 无 negative_prompt 反向提示词，图像生成过程中应避免的提示 否 无 num_inference_steps 推理步骤数，控制推理的步数 否 40 height 生成图像的纵向分辨率 否 1024 width 生成图像的横向分辨率 否 1024 high_noise_frac 高噪声比例，即基础模型跑的步数占总步数的比例 否 0.8 refiner_switch 是否使用细化模型refiner 否 true（使用） seed 随机种子，控制生成图像的多样性 否 无 您可在ModelArts控制台查看相关日志。 图18 查看相关日志 首次请求时会进行模型加载，耗时较长，因此第一个请求可能超时，第二个请求将会正常，请耐心等待。
-
步骤四 创建AI应用 在ModelArts的AI应用页面，进行AI应用创建。 图3 创建AI应用 填写如下参数信息。 名称：AI应用的名称，请按照实际应用名填写。 版本：版本描述，请按照实际填写。 元模型来源：注意此处选择“从容器镜像选择”。 容器镜像所在路径：单击文件夹标签，选择已经制作好的镜像。 容器调用接口参数：根据镜像实际提供的协议和端口填写，本案例中的SDXL镜像提供HTTP服务和8183端口。 图4 填写参数（1） 系统运行架构： 选择ARM. 推理加速卡：无。 部署类型： 在线服务。 请求模式：同步请求。 启动命令： source /etc/bashrc && python3 launch.py --skip-torch-cuda-test --port 8183 --enable-insecure-extension-access --listen --log-startup --disable-safe-unpickle --skip-prepare-environment --api 按照上述配置完参数后，单击右下角的立即创建， 完成AI应用的创建。 图5 填写参数（2） 当AI应用状态变为正常时，表示创建完成。 图6 AI应用创建完成
-
准备工作 使用专属资源池部署在线服务，服务状态为“运行中”。 需使用新版专属资源池部署服务，详情请参见ModelArts Standard资源池功能介绍。 只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道，目前只支持访问在线服务。 因流量限控，获取在线服务的IP和端口号次数有限制，每个主账号租户调用次数不超过2000次/分钟，每个子账号租户不超过20次/分钟。 目前仅支持 自定义镜像 导入模型，部署的服务支持高速访问通道。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
