检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。 RuntimeError: Error(s) in loading state_dict for VocabParallelEmbedding:
在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。 RuntimeError: Error(s) in loading state_dict for VocabParallelEmbedding:
在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。 RuntimeError: Error(s) in loading state_dict for VocabParallelEmbedding:
在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。 RuntimeError: Error(s) in loading state_dict for VocabParallelEmbedding:
在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。 RuntimeError: Error(s) in loading state_dict for VocabParallelEmbedding:
dtypes for data must be int, float or bool 原因分析 出现该问题的可能原因如下： 训练数据中出现了非int、float、bool类型数据。 处理方法 可参考如下代码，将错误列进行转换： from sklearn import preprocessing
下载方式：选择“ModelArts数据集”。 图1 下载数据集 目标区域：华北-北京四。 数据类型：系统会根据您的数据集，匹配到相应的数据类型。例如本案例使用的数据集，系统匹配为“图片”类型。 数据集输出位置：用来存放输出的数据标注的相关信息，或版本发布生成的Manifest文件等。单击图
group_by 否 String 查询算法要搜索的分组条件。 searches 否 String 查询算法所要过滤的条件，如算法名称模糊匹配。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。
需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。DWS的详细功能说明，请参考DWS用户指南。 图1 从DWS导入数据 集群名称：系统自动将当前账号下的DWS集群展现在列表中，您可以在下拉框中选择您所需的DWS集群。 数据库名称：根据
connect to host xxx.pem port xxxxx: Connection refused”如何解决？ 问题现象 原因分析 实例处于非运行状态。 解决方法 请前往ModelArts控制台查看实例是否处于运行状态，如果实例已停止，请执行启动操作，如果实例处于其他状态比如“错误
进入“下载详情”页面，填写以下参数。 下载方式：ModelArts数据集。 目标区域：华北-北京四。 数据类型：系统会根据您的数据集，匹配到相应的数据类型。例如本案例使用的数据集，系统匹配为“图片”类型。 数据集输入位置：用来存放源数据集信息，例如本案例中从Gallery下载的数据集。单击图标选择您的
进入“下载详情”页面，填写以下参数。 下载方式：ModelArts数据集。 目标区域：华北-北京四。 数据类型：系统会根据您的数据集，匹配到相应的数据类型。例如本案例使用的数据集，系统匹配为“图片”类型。 数据集输入位置：用来存放源数据集信息，例如本案例中从Gallery下载的数据集。单击图标选择您的
队列名称：系统自动将当前账号下的DLI队列展现在列表中，用户可以在下拉框中选择需要的队列。 数据库名称：根据选择的队列展现所有的数据库，请在下拉框中选择您所需的数据库。 表名称：根据选择的数据库展现此数据库中的所有表。请在下拉框中选择您所需的表。 DLI的default队列只用作体验，不同
d的对应配置。 图9 使用当前DashBoard的配置 创建Dashboards查看指标 打开“DashBoards”，单击“New”，选择“New Dashboards”。 在New Dashboards界面，单击“Add a new panel”。 在New dashboard
时依赖仅在实际部署时拉取。当单个模型文件大小超过5GB时，必须配置“动态加载”。 “AI引擎” 元模型使用的推理引擎，选择训练作业后会自动匹配。 “运行时依赖” 罗列选中模型对环境的依赖。例如依赖“tensorflow”，安装方式为“pip”，其版本必须为1.8.0及以上版本。 “模型说明”
不支持带有分词符的字符串搜索（当前默认分词符有 ,'";=()[]{}@&<>/:\n\t\r）。 支持关键词精确搜索。关键词指相邻两个分词符之间的单词。 支持关键词模糊匹配搜索，例如输入“error”或“er?or”或“rro*”或“er*r”。 支持短语精确搜索。例如输入“Start to refresh”。
kv-cache-int8量化 什么是kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。 约束限制 当前支持per-token动态量化（推荐）， per-tensor静态量化以及per-tensor+per-head静态量化。
进入配置详情页，完成资源的参数配置操作。 在服务部署页面，选择模型部署使用的资源规格。 模型来源：默认为生成的模型。 选择模型及版本：自动匹配当前使用的模型版本，支持选择版本。 资源池：默认公共资源池。 分流：默认为100，输入值必须是0-100之间。 计算节点规格：请根据界面显
进入配置详情页，完成资源的参数配置操作。 在服务部署页面，选择模型部署使用的资源规格。 模型来源：默认为生成的模型。 选择模型及版本：自动匹配当前使用的模型版本，支持选择版本。 资源池：默认公共资源池。 分流：默认为100，输入值必须是0-100之间。 计算节点规格：请根据界面显
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
