检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
max_out_len:在运行类似mmlu、ceval等判别式回答时,max_out_len建议设置小一些,比如16。在运行human_eval等生成式回答(生成式回答是对整体进行评测,少一个字符就可能会导致判断错误)时,max_out_len设置建议长一些,比如512,至少包含第一个回答的全部字段。 batc
max_out_len:在运行类似mmlu、ceval等判别式回答时,max_out_len建议设置小一些,比如16。在运行human_eval等生成式回答(生成式回答是对整体进行评测,少一个字符就可能会导致判断错误)时,max_out_len设置建议长一些,比如512,至少包含第一个回答的全部字段。 batc
ma-advisor update rule 图16 提示 根据提示,在terminal中,可以通过“ADVISOR_RULE_PATH”环境变量设置知识库的本地路径。 工具扫描结果解读 AI CPU算子分析和处理 MA-Advisor工具分析结果的html文件中会有下述链接,提供AI CPU算子相关问题的修复指导和案例。
String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array of strings SSH密钥对名称列表,允许设置多个密钥对实现同时对SSH实例的访问。 表7 EndpointsRes 参数 参数类型 描述 allowed_access_ips Array
String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array of strings SSH密钥对名称列表,允许设置多个密钥对实现同时对SSH实例的访问。 表7 EndpointsRes 参数 参数类型 描述 allowed_access_ips Array
环境变量Environment Variable Issues 识别模型训练环境中设置的昇腾相关环境变量并给出建议。 图6 环境变量分析 表2 当前支持的环境变量 环境变量名称 释义 ASCEND_GLOBAL_LOG_LEVEL plog日志级别,推荐设置为2(warning级别),低级别日志等级会导致cpu侧性能问题。
PTA_TORCHAIR_DECODE_GEAR_LIST=2,4,6,8,16,32 # 设置动态分档的挡位,根据实际情况设置,另外请不要设置挡位1 export VLLM_ENGINE_ITERATION_TIMEOUT_S=900 # 设置vllm请求超时时间 图模式主要针对小模型的场景,可减少算子下发的瓶颈,目前仅针对Qwen2-1
模型基本信息参数说明 参数名称 说明 名称 模型名称。支持1~64位可见字符(含中文),名称可以包含字母、中文、数字、中划线、下划线。 版本 设置所创建模型的版本。第一次导入时,默认为0.0.1。 说明: 模型创建完成后,可以通过创建新版本,导入不同的元模型进行调优。 描述 模型的简要描述。
模型的大小。 健康检查 如果元模型来源于对象存储服务/容器镜像,显示健康检查状态。当健康检查为开启时,会根据您启用的探针显示对应探针的参数设置情况。 启动探针:用于检测应用实例是否已经启动。如果提供了启动探针(startup probe),则禁用所有其他探针,直到它成功为止。如果
配置ModelArts授权。若没有授权,ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托,支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。 调试 您可以在API Ex
是否需要安装训练平台指定的 moxing 版本。true为需要。只有填写了engine_name,engine_version,image_url参数时支持该设置。 表15 Summary 参数 是否必选 参数类型 描述 log_type 否 String 训练作业可视化日志类型,配置后训练作业可作为可视化作业数据源。可选取值如下:
|---annotations |---train2017 |---val2017 更多obsutil的操作,可参考obsutil简介。 将文件设置归属为ma-user: chown -R ma-user:ma-group coco 代码云上适配 下载YOLOX代码。代码仓地址:https://github
8中会出现的情况,该日志是Info级别的,并不是错误信息,可以通过设置环境变量来屏蔽INFO级别的日志信息。环境变量的设置一定要在import tensorflow或者import moxing之前。 处理方法 您需要通过在代码中设置环境变量“TF_CPP_MIN_LOG_LEVEL”来屏
查询推理VPC访问通道信息的API 功能介绍 该接口用于查询推理VPC访问通道。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_i
CLI配置工具下载文件,如果在资产详情页有“复制完整资产名称”按钮即表示该资产支持使用Gallery CLI配置工具下载,如图1所示。 图1 复制完整资产名称 “运行平台”设置为“Pangu Studio”的数据集,不支持使用CLI工具下载。 下载Gallery CLI配置工具包(本地) 如果是在本地服务器安装Gallery
PTA_TORCHAIR_DECODE_GEAR_LIST=2,4,6,8,16,32 # 设置动态分档的挡位,根据实际情况设置,另外请不要设置挡位1 export VLLM_ENGINE_ITERATION_TIMEOUT_S=900 # 设置vllm请求超时时间 图模式主要针对小模型的场景,可减少算子下发的瓶颈,目前仅针对Qwen2-1
String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array of strings SSH密钥对名称列表,允许设置多个密钥对实现同时对SSH实例的访问。 表10 EndpointsRes 参数 参数类型 描述 allowed_access_ips Array
者环境变量中密文存放,使用时解密,确保安全; # 本示例以password保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_PASSWORD。 __PASSWORD = os.environ["HUAWEICLOUD_SDK_PASSWORD"]
装完成后需要看是否加载到内核,通过执行“lsmod | grep peer”查看是否加载。 如果git clone拉不下来代码,可能需要先设置下git的配置: git config --global core.compression -1 export GIT_SSL_NO_VERIFY=1
模型基本信息参数说明 参数名称 说明 名称 模型名称。支持1~64位可见字符(含中文),名称可以包含字母、中文、数字、中划线、下划线。 版本 设置所创建模型的版本。第一次导入时,默认为0.0.1。 说明: 模型创建完成后,可以通过创建新版本,导入不同的元模型进行调优。 描述 模型的简要描述。