华为云用户手册

  • 问题现象 部署Ansible应用替换json参数解析错误,未达到预期效果: 部署Ansible应用,使用template模块替换文本文件,当参数值为json或json数组格式时,替换后的参数解析后会在key值前加上"u"。示例如下: 输入参数为:{"key":"jsonkey","value":"jsonvalue"} 替换后的参数为:{u'value': u'jsonvalue', u'key': u'jsonkey'}
  • 处理方法 若您有DNS服务器,可将以下 域名 添加到DNS服务器中用于解析发布库域名; 若您没有DNS服务器,可将域名添加到本地主机的hosts文件中,使主机能够正常解析发布库域名。 以Windows(64位win10系统)主机为例,hosts文件路径为“C:\Windows\System32\drivers\etc\”。 #北京一 devrepo.devcloud.huaweicloud.com 114.116.231.65 #北京四 devrepo.devcloud.cn-north-4.huaweicloud.com 114.116.231.65 #上海一 devrepo.devcloud.cn-east-3.huaweicloud.com 124.71.80.194 #上海二 devrepo-cn-east-2.devcloud.huaweicloud.com 124.71.80.194 #广州 devrepo-cn-south-1.devcloud.huaweicloud.com 124.71.80.194 #贵阳一 devrepo.devcloud.cn-southwest-2.huaweicloud.com 124.71.80.194
  • 解决方法 使用命令 “ping $domainName”(其中$domainName为apt源链接对应的域名),检查网络连通性,如果网络连通正常请检查防火墙和安全组(如下2、3),否则请联系相关网络管理员打通网络。 对于防火墙限制出方向: 执行命令“iptables -nL”,查看防火墙出方向限制清单是否包含80端口。 对于云主机安全组出方向规则策略限制: 联系相关网络管理员设置安全组出方向规则策略。
  • 处理方法 使用命令 “ping $domainName”(其中$domainName为yum源链接对应的域名),检查网络连通性,如果网络连通正常请检查防火墙和安全组(如下2、3),否则请联系相关网络管理员打通网络。 对于防火墙限制出方向: 执行命令“iptables -nL”,查看防火墙出方向限制清单是否包含80端口。 对于云主机安全组出方向规则策略限制: 联系相关网络管理员设置安全组出方向规则策略。
  • Windows机器问题排查 请按照以下步骤逐步排查: 检查IP、用户名及密码是否正确。 参考《用户指南》“代理主机配置”章节指导进行代理主机配置。 参考《用户指南》“目标主机配置”章节指导开启WinRM功能。 查看WinRM功能是否开启,在powershell命令行执行如下命令: winrm e winrm/config/listener 查看Windows防火墙是否允许外部主机访问WinRM服务,如下图所示。
  • 2.0.31.220700 表21 2.0.31.220700版本说明 日期 特性描述 2022-08-12 新特性及性能优化 支持SQL限流。 新增FasterDDL并行数限制。 支持Faster DDL的所有ROW格式。 扩展全量SQL字段。 优化流量控制。 支持ALTER TABLE快速超时。 支持Query plan cache。 备机统计信息优化。 问题修复 修复主机rename partition-table之后备机crash的问题。 修改sql tracer的默认buffer size。 修复备机truncate lsn落后很多情况下备机拉起失败的问题。 修复含有多个相同范围的SQL查询导致的执行计划错误的问题。 修复空账户导致的crash的问题。 修复drop database可能导致的crash的问题。
  • 2.0.28.9 表17 2.0.28.9版本说明 日期 特性描述 2022-09-23 修复在Condition_pushdown::replace_columns_in_cond中使用不正确的条件判断的问题。 修复递归调用存储函数之后导致数据库崩溃的问题。 修改多表删除和full-text搜索的时候导致数据库崩溃的问题; 修复运行多个窗口函数的SQL查询语句之后导致数据库崩溃的问题; 修复具有全局级别权限的用户,执行SHOW CREATE DATABASE失败的问题。
  • 2.0.28.1 表20 2.0.28.1版本说明 日期 特性描述 2022-05-16 新特性 TaurusDB增加orphaned definer check控制开关。 TaurusDB支持Proxy IP透传。 Proxy提供会话一致性功能。 问题修复 修复主机DDL未提交导致的备机dd(data dictionary)未更新问题。 修复故障切换的主机的auto increment回退的问题。 修复备机性能异常问题。
  • 2.0.51.240300 表6 2.0.51.240300内核版本说明 日期 特性描述 2024-03-30 新增功能和性能优化: 支持高性能全局一致性,在较低的性能损耗下,提供集群维度的强一致性读能力。 新增show binary logs no block语法,优化在show binary logs过程中对事务提交的阻塞情况。 提供undo truncate能力,优化大量写入场景导致undo空间膨胀的问题。 提高全量恢复的并行度,优化备份恢复效率。 问题修复: 修复一批window function查询结果不准确或异常错误的问题。 修复在打开plan cache后反复执行一类prepare statement,数据库节点崩溃的问题。 修复在先后执行的存储过程中,由于字符集不一致导致的报错问题。 修复一类开启PQ后进行磁盘hash join,查询结果不符合预期的问题。 修复一类查询含有group by临时表字段时,报错主键重复的问题。
  • 2.0.45.230900 表8 2.0.45.230900内核版本说明 日期 特性描述 2023-11-24 新增功能和性能优化: 优化datatime/timestamp/time字段行为向前兼容。 优化PQ支持并行磁盘hash join场景。 启用并行INSERT/REPLACE SELECT的功能优化查询速度。 增加连接建立/断开日志打印,提高定位连接相关问题效率。 优化慢日志中增加对慢SQL问题定位有用的信息,提升定位慢SQL定位效率。 支持动态开启Binlog。 优化NDP bloom过滤器。 支持使用CAST(... AS INT) 语法。 优化Nested Loop Join + Distinct 性能。 优化快速识别慢IO对应的slice id。 增加sal_init日志,后续出现存储接口超时,时延可定位性增强。 问题修复: 修复全量SQL中缺少trx_id和cpu_time字段的问题。 修复prepare语句中where比较时,字段是int类型、参数是字符串导致转换有误的问题。 修复备机上DDL与查询的并发访问时,极小概率导致crash的问题。 修复Binlog数量短期暴涨未及时清理的问题。 修复多表JOIN SQL语句打开PQ开关后,可能出现执行结果不一致的问题。 修复Backwad Index Scan与ICP无法兼容导致查询性能不及预期的问题。 修复weight_string函数不支持level子句的问题。 修复特殊场景下,相同的SQL语句选用不同的索引得出结果不一致的问题。 修复部分场景下,同时开启NDP和PQ特性recycle lsn长时间不推进的问题。
  • 2.0.63.250300 表2 2.0.63.250300内核版本说明 日期 特性描述 2025-04-23 新增功能和性能优化: 并行查询能力增强:支持使用COUNT(DISTINCT column(s))加速并行查询。 新增库级回收站支持能力:增加支持将truncate table、drop database移入回收站能力。 问题修复: 优化解决只读节点拉取Binlog过程中出现的偶现中断问题。 优化解决部分场景下,LSN堆积触发的Truncate-LSN落后告警问题 。 优化解决从2.0.51.240305及以下版本升级到高版本偶现的同步链路异常问题。
  • 2.0.60.241200 表3 2.0.60.241200内核版本说明 日期 特性描述 2025-01-14 新增功能和性能优化: 急速定位Binlog断点:当使用自动定位的方式从TaurusDB实例拉取Binlog时,如果未读取的Binlog文件比较多,自动定位正确Binlog位点的时间很长。例如:未读取的Binlog文件的个数是6万个,自动定位正确Binlog位点的时间是60分钟左右。特性开启后,自动定位的时间从60分钟降低到2秒左右。 并行查询功能增强:支持通过EXPLAIN语句查看并行执行计划,包括传统EXPLAIN,以及MySQL 8.0新引入的EXPLAIN FORMAT=TREE、EXPLAIN ANALYZE、EXPLAIN FORMAT=JSON,其中2.0.60.241200版本开始支持EXPLAIN ANALYZE。 问题修复: 优化部分场景下,使用Flink在只读拉取Binlog拉取过程中的偶发性中断问题。 修复开源社区问题:JSON列索引数据重复导致结果不正确问题(Bug#33334928) 。 优化到AP的分流处理。 ROW保留关键字修改为非保留。
  • 2.0.57.240900 表4 2.0.57.240900内核版本说明 日期 特性描述 2024-10-18 新增功能和性能优化: 分区级MDL锁:在MySQL社区版中,分区表的数据访问操作(DML)和分区维护操作(DDL)会互相阻塞,这意味着分区维护只能在业务低峰期进行。本版本实现了分区级别的MDL锁,使得分区表的锁粒度从表级降低到了分区级,不同分区上的DML和特定DDL(如增加和删除分区)在MDL锁上不会相互阻塞,从而大大提升分区间操作的并发性。 表回收站:启用此功能开关后,符合条件的DROP TABLE命令不会直接删除指定表,而是将表暂时存放到回收站中,达到最大保存时间后,后台会自动删除。回收站功能支持修改被删除表在回收站中的保留时间,您也可以随时将表从回收站中恢复或彻底删除。 问题修复: 优化资源抢占场景下,各租户的CPU资源不会严格按照配置的比例分配问题。 优化Statement Outline功能,支持视图,支持explain analyze语句。
  • 2.0.28.16 表13 2.0.28.16版本说明 日期 特性描述 2023-03-14 新特性: 优化主备时延。 修复问题: 修复prepare statement中使用json相关函数处理错误问题。 修复指定过滤条件查询结果不返回的问题; 修复WINDOWS函数生成磁盘临时表后,出现空指针异常问题。 修复windows functions空指针使用导致的crash问题。 修复prepared statements执行失败的问题。
  • 2.0.39.230300 表10 2.0.39.230300版本说明 日期 特性描述 2023-05-11 新特性及优化: 支持小规格实例。 备机DDL失效方案优化。 SALSQL使用空间容量计算优化。 支持对单个SQL语句使用资源进行限制。 支持admin port和local socket使用per thread。 pwalScanner内存优化。 支持修改default_collation_for_utf8mb4参数。 支持大事务检测能力。 支持Kill idle transactions。 优化增量恢复速度。 新增数据库描述和账号描述。 支持buffer pool resize加速。 问题修复: 修复Ptrc可能会导致Nestedloop join的结果不一致问题。 修复使用windows函数进行排序的子查询可能会导致crash问题。 修复使用rewrites view时,如果评估可能会把left joins转化为inner joins问题。 修复指定过滤条件的decimal类型的数据不返回结果问题。 修复内存非对齐问题。 修复全量日志中记录scan_row不准确问题。
  • 2.0.54.240600 表5 2.0.54.240600内核版本说明 日期 特性描述 2024-07-19 新增功能和性能优化: 热点行更新优化:热点行出现的场景包括秒杀抢购、演唱会门票预订、热门路线火车票预定等等,本版本支持热点行更新优化,您可以通过手动指定或者自动识别的方式开启热点行更新,该功能开启后可以大幅度提升热点行的更新性能。 非阻塞DDL:用户在执行DDL操作的时候,如果目标表存在未提交的长事务或大查询,DDL将持续等待获取MDL-X锁,将导致业务连接的堆积和阻塞。本版本支持非阻塞DDL功能,可以保证即使在无法获得MDL-X锁的情况下,依然允许新事务进入目标表,从而保证整个业务系统的稳定。 多租户管理:提供多租户管理功能,让数据库能够为其多个租户服务,提高数据库资源利用率。 只读节点支持Binlog拉取:支持只读节点拉取Binlog,您可以以TaurusDB只读节点为数据源,建立Binlog复制链路,实时同步Binlog内容,以便减轻TaurusDB主节点的负载。 字段压缩(列压缩):为了减少数据页面存储空间占用,节省成本,TaurusDB推出细粒度的字段压缩,提供ZLIB和ZSTD两种压缩算法,用户可以综合考虑压缩比和压缩解压性能影响,选择合适的压缩算法,对不频繁访问的大字段进行压缩。 支持INTERVAL RANGE分区表:现有的RANGE分区表插入数据时,如果插入的数据超出当前已存在分区的范围,将无法插入并且会返回错误。本版本支持INTERVAL RANGE分区表后,当新插入的数据超过现有分区的范围时,允许数据库根据INTERVAL子句提前指定的规则来添加新分区。 支持LIST DEFAULT HASH分区表特性:LIST DEFAULT HASH是在同一级别支持两种分区类型:LIST和HASH。前面是普通的LIST分区,不符合LIST分区规则的数据会放在DEFAULT分区里,DEFAULT分区如果有多个分区则根据HASH规则计算。LIST DEFAULT HASH分区类型常用在LIST VALUES分布不均匀以及无法全部枚举的场景。 问题修复: 优化表级恢复性能。 优化大规格实例高并发场景备机的执行性能。
  • 2.0.42.230600 表9 2.0.42.230600内核版本说明 日期 特性描述 2023-08-31 新增功能和性能优化: 优化全量与增量备份放到备库进行,减少主机内存/CPU占用。 优化UNDO损坏场景的快速定位:启动undo损坏时,明确打印出undo损坏和对应表名称。 优化备机查询性能劣后于主库问题。 优化in-list转临时表。 NDP特性规模商用。 用Statement Outline方法稳定执行计划。 PQ特性支持Round函数。 问题修复: 修复快速排序和优先级队列排序算法不稳定导致ORDER BY LIMIT与ORDER LIMIT结果集有重合的问题。 修复PQ语句极小概率情况返回错误结果的问题。 修复部分场景PREPARE语句执行报错的问题。 修复部分场景UNION查询上的PQ断言错误的问题。 修复实例主节点INSERT大数据量的时候只读升主,升主成功后用全文索引查询的结果不准确的问题。 修复备机使用general_log和slow_log表打印warning日志的问题。 修复部分场景设置锁等待时间参数innodb_lock_wait_timeout后,实际超时等待时间不一致的问题。 修复只读升主过程中,小概率出现Failed to find page in slice manager导致升主失败的问题。 修复salsql日志pwal扫描进度percentage值大于100%的问题。 修复执行sqlsmith工具, 查询语句在explain阶段偶现mysqld coredump。 修复SELECT DISTINCT + CAST函数转换datetime类型为float类型时,结果不正确的问题。
  • 2.0.28.15 表14 2.0.28.15版本说明 日期 特性描述 2023-01-11 新特性 支持SQL限流。 读流控优化。 主备执行计划一致优化。 slice异步预创建。 问题修复 修复系统变量INNODB_VALIDATE_TABLESPACE_PATHS关闭情况下undo space truncate的时候出现的crash问题。 修复查询information_schema.innodb_trx较慢问题。 修复查询结果不一致的问题:left joins没有转化为inner joins。 修复优化子查询的过程中导致的crash问题。 修复并发instantDDL和DML场景下未按实际获取instant字段值的问题。 修复当load有FTS索引的两个INNODB表时可能导致OOM的问题。 修复更新百万级别的表的数据字典可能导致OOM的问题。
  • 2.0.48.231200 表7 2.0.48.231200内核版本说明 日期 特性描述 2024-01-30 新增功能和性能优化: 组合分区能力增强:在社区MySQL的RANGE-HASH、LIST-HASH两类组合分区能力基础上,增加了RANGE-RANGE、RANGE-LIST、LIST-RANGE、LIST-LIST、HASH-HASH、HASH-KEY、HASH-RANGE、HASH-LIST、KEY-HASH、KEY-KEY、KEY-RANGE、KEY-LIST的组合分区能力。 向前兼容MySQL 5.7 GROUP BY场景隐式/显式排序。 向前兼容MySQL 5.7 max_length_for_sort_data判据,优化特定场景文件排序性能。 优化因执行计划选错导致访问information_schema下视图较慢的问题。 PQ支持EXIST子查询。 优化库表或实例按时间点恢复性能。 问题修复: OPENSSL版本升级。 修复time_zone参数默认值SYSTEM会导致部分场景SQL并行执行效率降低的问题。 修复一类条件部分下推到物化derived table时,SQL查询结果不准确的问题。 修复部分场景磁盘hash join开启PQ后性能劣化的问题。 修复控制台赋予用户数据库权限后,通过非控制台的方式删除此数据库,权限页面未更新的问题。
  • 创建环境并导入主机 创建部署环境并导入主机集群中的主机。 单击“环境管理”,切换到“环境管理”页面。 新建环境。 单击“新建环境”,填写以下信息后,单击“保存”,完成环境的创建。 参数项 是否必填 说明 环境名称 是 请输入自定义的环境名称。 仅支持3-128位数字、中文、英文字母或-_.符号。 资源类型 是 根据您即将部署的环境,可选择“主机”。 操作系统 是 根据即将添加主机的操作系统,可选择“Linux”或“Windows”。 描述 否 请输入对环境的描述。 长度限制:0-500字符。 单击“导入主机”,系统已自动筛选符合当前环境的所有集群,在弹框中选择目标主机集群,可通过以下方式将主机导入环境中。 单独导入:单击某个主机操作列的图标,即可将该主机导入环境中。 批量导入:选中多个主机,单击“导入”,即可将主机批量导入环境中。 当选择已绑定代理主机的目标主机进行导入时,该目标主机绑定的代理主机会一同被导入环境中。 (可选)主机导入成功后,可单击页面图标,进行连通性验证。
  • 配置应用部署步骤并部署应用 以下为Tomcat应用部署模板的初始化步骤及其参数说明,如需了解更多步骤详情可参考部署步骤详解。 配置应用部署步骤。 切换到“部署步骤”页签,单击“编辑”对部署步骤进行参数配置。 安装JDK 表2 安装JDK参数说明 参数项 是否必填 说明 步骤显示名称 是 步骤添加后在部署步骤显示的名称。仅支持汉字、英文字母、数字、空格、或-_,;:./()()符号,其中空格不可在名称开头或结尾使用,长度为1-128。 环境 是 选择当前资源类型为主机集群的环境,作为部署对象。 请选择jdk版本 是 jdk的版本。 jdk安装路径 是 jdk的安装路径。 控制选项 否 配置是否启用该操作。 失败后继续运行:当前步骤部署失败后,应用是否继续部署后续的步骤。 使用sudo权限执行:配置是否使用sudo权限部署该步骤。 安装Tomcat 表3 安装Tomcat参数说明 参数项 是否必填 说明 步骤显示名称 是 步骤添加后在部署步骤显示的名称。 仅支持汉字、英文字母、数字、空格、或-_,;:./()()符号,其中空格不可在名称开头或结尾使用,长度为1-128。 环境 是 选择当前资源类型为主机集群的环境,作为部署对象。 tomcat版本 是 选择要安装的tomcat的版本号。 安装路径 是 tomcat的安装路径。 http端口 是 默认为8080。 ajp端口 是 默认为8009。 shutdown端口 是 默认为8005。 控制选项 否 配置是否启用该操作。 失败后继续运行:当前步骤部署失败后,应用是否继续部署后续的步骤。 使用sudo权限执行:配置是否使用sudo权限部署该步骤。 停止Tomcat服务 表4 停止Tomcat服务参数说明 参数项 是否必填 说明 步骤显示名称 是 步骤添加后在部署步骤显示的名称。 仅支持汉字、英文字母、数字、空格、或-_,;:./()()符号,其中空格不可在名称开头或结尾使用,长度为1-128。 环境 是 选择当前资源类型为主机集群的环境,作为部署对象。 服务操作类型 是 配置“停止服务”。 服务对应的绝对路径 是 Tomcat服务的路径。 控制选项 否 配置是否启用该操作。 失败后继续运行:当前步骤部署失败后,应用是否继续部署后续的步骤。 使用sudo权限执行:配置是否使用sudo权限部署该步骤。 选择部署来源 表5 选择部署来源参数说明 参数项 是否必填 说明 步骤显示名称 是 步骤添加后在部署步骤显示的名称。 仅支持汉字、英文字母、数字、空格、或-_,;:./()()符号,其中空格不可在名称开头或结尾使用,长度为1-128。 选择源类型 是 包括“制品仓库”和“构建任务”两种类型。 环境 是 选择当前资源类型为主机集群的环境,作为部署对象。 选择软件包 是 可以选择制品仓库已有软件包,也可以选择本地上传的软件包/文件(上传到到制品仓库的软件包/文件,可以重复使用)。 package_url是软件包在制品仓库中的路径。 下载到主机的部署目录 是 软件包下载后的路径。 控制选项 否 配置是否启用该操作。 失败后继续运行:当前步骤部署失败后,应用是否继续部署后续的步骤。 使用sudo权限执行:配置是否使用sudo权限部署该步骤。 此处的部署来源以选择“制品仓库”为例,进行相应的参数说明。如部署来源选择“构建任务”,相关信息可参考《用户指南》里选择部署来源章节。 启动Tomcat服务 表6 启动Tomcat服务参数说明 参数项 是否必填 说明 步骤显示名称 是 步骤添加后在部署步骤显示的名称。 仅支持汉字、英文字母、数字、空格、或-_,;:./()()符号,其中空格不可在名称开头或结尾使用,长度为1-128。 环境 是 选择当前资源类型为主机集群的环境,作为部署对象。 服务操作类型 是 配置“启动服务”。 服务对应的绝对路径 是 Tomcat服务的路径。 http端口 是 Tomcat服务监听的http端口。 ajp端口 是 Tomcat服务监听的ajp端口。 shutdown端口 是 Tomcat服务监听的shutdown端口。 等待时间 是 等待已设置的时长后将监测服务是否已成功启动。可根据服务启动实际所需时间进行调整,如时间设置不合理,会导致检测结果无效。 输入限制:0-300,单位“秒”。 组件监控 否 配置是否启用应用运维服务( AOM ),该服务提供指标监控、日志查询、告警功能(勾选后自动安装数据采集器 ICAgent,仅支持华为云linux主机,且与此应用在同一region下),详细请参见配置组件监控。 服务关联组件 是 如勾选“组件监控”,则会配置此项参数。 此处选择或新建当前启动服务需要关联的组件。 日志路径 否 如勾选“组件监控”,则会配置此项参数。 填写服务的日志文件路径。日志文件仅支持以.log、.trace和.out结尾的文件,可以配置文件夹路径,且最多配置10个路径 控制选项 否 配置是否启用该操作。 失败后继续运行:当前步骤部署失败后,应用是否继续部署后续的步骤。 使用sudo权限执行:配置是否使用sudo权限部署该步骤。 URL健康测试 表7 URL健康测试参数说明 参数项 是否必填 说明 步骤显示名称 是 步骤添加后在部署步骤显示的名称。 仅支持汉字、英文字母、数字、空格、或-_,;:./()()符号,其中空格不可在名称开头或结尾使用,长度为1-128。 环境 是 选择当前资源类型为主机集群的环境,作为部署对象。 重试次数 是 失败后重试次数,超过重试次数服务未启动会导致URL检测失败。 间隔时间 是 两次重试的间隔时间。 输入限制:0-60,单位“秒”。 测试路径 是 待测试服务的路径,可以添加多个。 控制选项 否 配置是否启用该操作。 失败后继续运行:当前步骤部署失败后,应用是否继续部署后续的步骤。 “URL健康测试”的参数填写完成后,即完成了所有的参数配置。更多应用配置请参考配置CodeArts Deploy应用的参数。 部署应用。 配置好上述参数后,单击“保存并部署”即可开始部署应用。 应用部署成功。 应用部署失败时,可参考以下流程排查原因。 查看自动匹配解决方案 如果应用部署失败,可单击原子操作下的“查看解决方案”,前往对应的帮助中心页面。 手动搜索解决方案 如果所匹配的帮助中心页面未能解决问题,可将错误信息(即框图内容)粘贴到帮助中心的搜索栏,进行手动搜索解决方案。 更多部署问题,请参考应用部署常见问题排查。 发起技术支持申请 如果仍未能搜索到可行的解决方案,您可新建工单申请华为工程师协助。
  • 准备工作 已有可用项目,如果没有,请先创建项目,参考新建 CodeArts 项目。 具有创建应用的权限,参考配置CodeArts Deploy应用不同角色的管理权限。 已经编译完成的软件包。 在“选择部署来源”步骤时,有“制品仓库”和“构建任务”两个选项。由于本例中选择的是“制品仓库”,所以应该提前准备好已编译完成的软件包。如果选择“构建任务”,则不需要准备软件包。 已拥有E CS 云主机(如果没有,请参考购买弹性云服务器完成购买,过程中可能产生费用,详情可参考ECS计费说明)。
  • 准备工作 本章节的边缘部署操作以largemodel集群为例,示例集群信息如下表。 表2 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge.4镜像 EulerOS 2.9 64bit with ARM for Tenant 20230728 base 2.9.15 公网IP:100.85.220.207 root密码:/ CPU架构:aarch64(登录设备,执行arch命令查看) worker bms-panguXXXX CPU:Kunpeng 内存:24*64GB DDR4 RAM (GB) 本地磁盘:3*7.68TB NVMe SSD 扩展配置:2*100GE+8*200GE 类型:physical.kat2e.48xlarge.8.313t.ei.pod101 euler2.10_arm_sdi3_1980b_hc_sdi5_b080_20230831v2 公网IP:100.85.216.151 root密码:/ CPU架构:aarch64(登录设备,执行arch命令查看) 依赖包下载。 docker下载:https://download.docker.com/linux/static/stable 选择对应cpu架构下载,docker版本选在19.0.3+。 K3S下载:https://github.com/k3s-io/k3s/releases/tag/v1.21.12%2Bk3s1 按照对应cpu架构下载二进制文件以及air-gap镜像。 npu驱动和固件安装。 执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息,说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令,查看是否有回显网卡信息。如果有,则说明网卡已经配置,否则继续操作下面步骤。 cat /etc/hccn.conf 执行如下命令,查看npu卡数。 npu-smi info 执行如下命令(地址自行配置): hccn_tool -i 0 -ip -s address 192.168.0.230 netmask 255.255.255.0 hccn_tool -i 1 -ip -s address 192.168.0.231 netmask 255.255.255.0 hccn_tool -i 2 -ip -s address 192.168.0.232 netmask 255.255.255.0 hccn_tool -i 3 -ip -s address 192.168.0.233 netmask 255.255.255.0 hccn_tool -i 4 -ip -s address 192.168.0.234 netmask 255.255.255.0 hccn_tool -i 5 -ip -s address 192.168.0.235 netmask 255.255.255.0 hccn_tool -i 6 -ip -s address 192.168.0.236 netmask 255.255.255.0 hccn_tool -i 7 -ip -s address 192.168.0.237 netmask 255.255.255.0 执行命令cat /etc/hccn.conf,确保有如下回显网卡信息,则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时,需要有一个节点来提供nfs网盘服务,创建部署时通过nfs挂载的方式访问模型。
  • 知识库介绍 平台提供了知识库功能来管理和存储数据,支持为应用提供自定义数据,并与之进行互动。 知识库支持导入以下格式的本地文档: 文本文档数据。支持上传常见文本格式,包括:txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式,便于管理和分析结构化数据,包括:xlsx、xls、csv格式。 无论是文本文档、演示文稿,还是电子表格文件,用户都可以轻松地将数据导入知识库,无需额外的转换或格式处理。 父主题: 创建与管理知识库
  • 创建插件 创建插件的步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 单击左侧导航栏“工作台”,在“插件”页签,单击右上角“创建插件”。 在“创建插件”页面,填写插件名称与插件描述,单击图片可上传插件图标,单击“下一步”。 在“配置信息”页面,参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非商用环境部署时,才允许支持内网URL,且需要通过相关的服务的启动配置项关闭内网屏蔽。 请求方法 插件服务的请求方式,POST或GET。 权限校验 选择调用API时是否需要通过鉴权才可以调用。 无需鉴权:API可以公开访问,不需要任何形式的身份验证或授权。 用户级鉴权:需要用户提供身份验证信息来访问API。 需填写密钥位置,即密钥是从Header中读取还是Query中读取。并设置密钥鉴权参数名、密钥来源参数名,以确保系统能够正确地提取和使用鉴权信息。 API Key:在调用API时提供一个唯一的API Key进行鉴权。 需填写密钥位置,即密钥是从Header中读取还是Query中读取。并设置API Key的密钥鉴权参数名和密钥值。 请求头 填写API的请求头信息,例如: Key:Content-Type Value:application/json 图1 API请求信息配置示例 自定义插件使用HTTP服务,或不增加鉴权方式可能存在安全风险。 单击“下一步”,在“参数信息”页面,参照表2完成参数配置。 表2 插件参数配置说明 参数类型 参数名称 参数说明 请求参数 参数封装 开启后,会将请求参数封装为一个列表(数组)结构,可适配入参为数组格式的插件接口。 示例:原参数列表:{"a":"string", "b":1},开启封装后的参数列表:[{"a":"string", "b":1}] 参数名称 参数的名称,参数名称会作为大模型解析参数含义的依据。 中文名称 该参数的中文名称。 参数类型 该参数值的数据类型,String、Integer、Number等多种类型支持选择。 位置 当前参数在请求信息中的位置,可选Body、Headers或Query。 默认值 参数的默认值。 描述 参数的描述,尽可能准确的描述参数的含义和要求,可提升Agent提取参数的准确率。 参数校验 可设置当前参数的校验规则。 必填 指定该参数是否为必填项。 响应参数 参数封装 开启后,会将请求参数封装为一个列表(数组)结构,可适配入参为数组格式的插件接口。 示例:原参数列表:{"a":"string", "b":1},开启封装后的参数列表:[{"a":"string", "b":1}] 参数名称 响应参数的名称,参数名称会作为大模型解析大模型输出结果的依据。 参数描述 响应参数的名称,参数描述会作为大模型解析大模型输出结果的依据。 参数类型 该参数值的数据类型,String、Integer、Number等多种类型支持选择。 是否提取 开启后则该参数必须提取到,关闭则该参数允许为空或者使用默认值。 图2 填写API请求、响应参数 父主题: 创建与管理插件
  • 插件介绍 在Agent开发平台中,插件是大模型能力的重要扩展。通过模块化方式,插件能够为大模型提供更多专业技能和复杂任务处理能力,使其在多样化的实际场景中更加高效地满足用户需求。 通过插件接入,用户可以为应用赋予大模型本身不具备的能力。插件提供丰富的外部服务接口,当任务执行时,模型会根据提示词感知适用的插件,并自动调用它们,从外部服务中获取结果并返回。这样的设计使得Agent能够智能处理复杂任务,甚至跨领域解决问题,实现对复杂问题的自动化处理。 Agent开发平台支持两种类型的插件: 预置插件:平台为开发者和用户提供了预置插件,直接可用,无需额外开发。例如,平台提供的“Python解释器插件”能够根据用户输入的问题自动生成Python代码,并执行该代码获取结果。此插件为Agent提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。 自定义插件:为了满足更个性化的需求,平台允许开发者创建自定义插件,支持将API通过配置方式快速创建为插件,并供Agent调用。这样,开发者可以根据特定需求为应用增加专属功能。 父主题: 创建与管理插件
  • 应用介绍 在Agent开发平台上,用户可以构建两种类型的应用: 知识型Agent:以大模型为任务执行核心,适用于文本生成和文本检索任务,如搜索问答助手、代码生成助手等。用户通过配置Prompt、知识库等信息,使得大模型能够自主规划和调用工具。 优点:零代码开发,对话过程智能化。 缺点:大模型在面对复杂的、长链条的流程时可能会受到输入长度限制,难以有效处理较为复杂的工作流。 流程型Agent:以工作流为任务执行核心,用户可以通过在画布上“拖拽”节点来搭建任务流程。支持编排的节点类型包括:大模型节点、知识检索节点、意图识别节点、插件节点、判断节点、代码节点、消息节点、提问器节点。 优点:高度可扩展,支持低代码开发。 缺点:对话交互的智能度较低,复杂场景下流程分支较多,维护难度较大。 父主题: 编排与调用应用
  • NLP大模型评测指标说明 NLP大模型支持自动评测与人工评测,各指标说明如表1、表2、表3。 表1 NLP大模型自动评测指标说明-不使用评测模板 评测指标(自动评测-不使用评测模板) 指标说明 F1_SCORE 精准率和召回率的调和平均数,数值越高,表明模型性能越好。 BLEU-1 模型生成句子与实际句子在单字层面的匹配度,数值越高,表明模型性能越好。 BLEU-2 模型生成句子与实际句子在词组层面的匹配度,数值越高,表明模型性能越好。 BLEU-4 模型生成结果和实际句子的加权平均精确率,数值越高,表明模型性能越好。 ROUGE-1 模型生成句子与实际句子在单个词的相似度,数值越高,表明模型性能越好。 ROUGE-2 模型生成句子与实际句子在两个词的相似度,数值越高,表明模型性能越好。 ROUGE-L 模型生成句子与实际句子在最长公共子序列的相似度,数值越高,表明模型性能越好。 PRECISION 问答匹配的精确度,模型生成句子与实际句子相比的精确程度,数值越高,表明模型性能越好。 表2 NLP大模型自动评测指标说明-使用评测模板 评测指标(自动评测-使用评测模板) 指标说明 评测得分 每个数据集上的得分为模型在当前数据集上的通过率;评测能力项中若有多个数据集则按照数据量的大小计算通过率的加权平均数。 综合能力 综合能力是计算所有数据集通过率的加权平均数。 表3 NLP大模型人工评测指标说明 评测指标(人工评测) 指标说明 准确性 模型生成答案正确且无事实性错误。 average 模型生成句子与实际句子基于评估指标得到的评分后,统计平均得分。 goodcase 模型生成句子与实际句子基于评估指标得到的评分后,统计得分为5分的占比。 badcase 模型生成句子与实际句子基于评估指标得到的评分后,统计得分1分以下的占比。 用户自定义的指标 由用户定义的指标,如有用性、逻辑性、安全性等。
  • 工作流常见错误码与解决方案 工作流常见报错及解决方案请详见表1。 表1 工作流节点常见报错与解决方案 模块名称 错误码 错误描述 解决方案 开始节点 101501 开始节点全局配置未传入值。 开始节点错误,请联系客服解决。 结束节点 101531 结束节点初始化失败。 检查结束节点配置,可能为校验报错。 101532 结束节点模板拼接失败。 先检查模板占位符与输入是否匹配,请联系客服解决。 101533 结束节点流式处理失败。 请联系客服解决。 大模型节点 101561 大模型节点初始化失败。 检查大模型节点配置,可能为校验报错。 代码节点 101591 代码组件初始化失败。 检查代码节点配置,可能为校验报错。 101592 代码节点安全沙箱请求失败。 请联系客服解决。 101593 代码节点安全沙箱执行失败。 检查代码的语法是否有误,检查是否用到了未引用的变量。 101594 代码组件安全沙箱其他报错。 请联系客服解决。 101595 代码节点执行失败未知错误。 请联系客服解决。 消息节点 101651 消息组件初始化失败。 检查消息节点配置,可能为校验报错。 101652 消息节点缺少模板信息。 配置消息节点的提示词模板。 101653 消息节点模板拼接错误。 先检查模板占位符与输入是否匹配,若仍无法解决,请联系客服解决。 101654 消息组件执行失败。 请联系客服解决。 101655 消息组件异步执行失败。 请联系客服解决。 意图识别节点 101098 意图识别prompt模板请求失败。 检查模板占位符与输入是否匹配。 101097 意图识别调用大模型的prompt不符合模型输入的规范。 检查输入的prompt格式,消息的角色和内容。 101096 意图识别调用大模型失败。 检查消息的格式,内容以及大模型服务是否正常。 101095 意图识别用户query输入/引用解析失败。 检查用户query格式和内容。 101094 意图识别prompt模板构建失败。 检查内置模板以及输入的system prompt格式与内容。 提问器节点 101043 当单个提问器内的对话轮数超过预设轮数上限时触发该错误码,对话状态回到开始节点状态。 可通过调大对话轮数上限解决。 101047 初始化深度定制前后处理模块失败时触发该错误码。 可检查护栏配置是否符合要求。 101048 执行深度定制用户回复改写(前处理)失败时触发该错误码。 可检查前处理护栏代码。 101049 执行深度定制大模型生成的参数取值改写(后处理)失败时触发该错误码。 可检查后处理护栏代码。 101050 执行默认护栏(时间参数解析)失败时触发该错误码。 可检查支持处理的时间类型是否超出支持范围。 102053 提示词模板有误时触发该错误码。 检查提示词模板是否格式有误。 103004 大模型推理失败时触发该错误码。 请检查模型服务是否可以正常运行。 插件节点 101741 插件组件初始化失败。 检查插件组件配置,可能为校验报错。 101742 工作流插件节点参数类型转换时出错。 根据error message确定具体转换出错的参数名称,并确认类型是否正确。 101743 工作流插件节点的input在插件定义中不存在。 检查插件定义和对应的组件定义是否匹配。 101744 插件定义了response,但实际插件执行结果与定义不一致。 检查插件response定义和实际插件执行结果是否匹配。 101745 工作流插件节点执行出错。 插件执行出错,可以根据具体的error message信息定位。如果message无有效信息,说明该错误属于未捕获到的异常。 105001 插件执行时发生了无法捕获的异常。 检查插件本身是否可用。 105004 插件定义时check param error。 根据对应error message信息确定具体出错的参数定义。 105005 插件定义不合法。 插件定义时的数据不合法,例如字段定义超出最长长度,具体根据error message判断。 105008 插件内部错误。 请联系客服解决。 105010 插件运行时鉴权出错。 可根据error message信息确定具体出错的鉴权问题,并检查鉴权信息的传递和插件鉴权定义是否正确。 105011 插件运行返回的响应代码非200。 可根据报信息查看实际的http返回码。 105012 插件request请求超时。 插件请求超时,检查插件服务。 105013 插件返回结果过大。 当前支持10M大小的返回,超过此大小会报错。 105014 插件request proxy error。 请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。 112503 工作流连接数据库失败。 请联系客服解决。 112504 缺少必要权限。 查看当前用户权限。 112513 工作流流程中存在死循环。 检查工作流画布。 112514 工作流被引用,无法删除。 查看知识型应用中是否引用了该工作流。 112600 workflow ir转化失败 需要查看工作流配置是否正确。 112941 获取workflow对话历史失败 请联系客服解决。
  • 使用“能力调测”调用科学计算大模型 能力调测功能支持用户调用预置或训练后的科学计算大模型。使用该功能前,请完成模型的部署操作,步骤详见创建科学计算大模型部署任务。 使用“能力调测”调用科学计算大模型可实现包括全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度场景的预测能力。具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“能力调测”,单击“科学计算”页签。 根据不同场景完成页面参数配置。 天气/降水预测场景的参数配置,请参考表1。 表1 科学计算大模型能力调测参数说明(天气/降水预测) 参数 说明 场景 支持选择全球中期天气要素预测、全球中期降水预测。 全球中期天气要素预测:通过该模型可以对未来一段时间的天气进行预测。 全球中期降水预测:通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型,即以起报时刻开始,分别可以逐1h、3h、6h、24h往后进行天气要素的预测。 中期天气要素模型包括6h分辨率模型,即以起报时刻开始,可以逐6h往后进行降水情况的预测。 结果存储路径 用于存放模型推理结果的OBS路径。 输入数据 支持选择用于存放作为初始场数据的文件路径。 预报天数 支持选择以起报时间点为开始,对天气要素或降水进行预报的天数,范围为1~14天。 起报时间 支持选择多个起报时间作为推理作业的开始时间,每个起报时间需为输入数据中存在的时间点。 表面变量 支持选择推理结果输出的表面变量,包括10m u风、10m v风、2米温度、海平面气压,没有选择的变量推理结果将不输出。 高空变量 设置高空变量参数,包括:4个表面层特征(10m u风、10m v风、2米温度、海平面气压),13高空层次(1000、925、850、700、600、500、400、300、250、200、150、100、50hPa)的5个高空层特征(重力位势、u风、v风、比湿、温度),分辨率为25km*25km的网格数据。 集合预报 用于选择是否开启集合预报。 在气象预报中,集合预报是指对初始场加入一定程序的扰动,使其生成一组由不同初始场预报的天气预报结果,从而提供对未来天气状态的概率信息。这种方法可以更好地表达预报的不确定性,从而提高预报的准确性和可靠性。 集合成员数 用于选择生成预报的不同初始场的数量,取值为2~10。 扰动类型 用于选择生成集合预报初始场的扰动类型,包括perlin加噪和CNOP加噪两种方式。 Peilin噪音通过对输入数据(比如空间坐标)进行随机扰动,让模拟出的天气接近真实世界中的变化。 CNOP噪音通过在初始场中引入特定的扰动来研究天气系统的可预报性,会对扰动本身做一定的评判,能够挑选出预报结果与真实情况偏差最大的一类初始扰动。这些扰动不仅可以用来识别最可能导致特定天气或气候事件的初始条件,还可以用来评估预报结果的不确定性。 初始扰动数量 用于选择集合预报的CNOP初始扰动数量。 在CNOP的加噪方式中,会先对初始场进行一定数量的加噪得到一组加噪后的初始场,然后从这组初始场中选择能量变化最大的初始场作为集合预报的初始场,启动推理作业。 ensemble_noise_perlin_scale 用于选择集合预报的Perlin加噪强度。 ensemble_noise_perlin_x 用于选择集合预报的Perlin加噪x经度方向的尺度。 ensemble_noise_perlin_octave 用于选择集合预报的Perlin加噪octave。Perlin噪音的octave指的是噪音的频率,在生成Perlin噪音时,可以将多个不同频率的噪音叠加在一起,以增加噪音的复杂度和细节。每个频率的噪音称为一个octave,而叠加的octave数越多,噪音的复杂度也就越高。 ensemble_noise_perlin_y 用于选择集合预报的Perlin加噪y纬度方向的尺度。 输出设置 用于选择是否输出图片结果。 天气/降水预测场景的参数配置示例如下: 图1 调测科学计算大模型示例1(天气/降水预测) 图2 调测科学计算大模型示例2(天气/降水预测) 海洋类预测场景的参数配置,请参考表2。 表2 科学计算大模型能力调测参数说明(海洋类预测) 参数 说明 场景 支持选择全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度。 全球海洋要素:实现预测全球范围内海面高度, 温度、盐度、海流速度纬向分量和海流速度经向分量变量。 区域海洋要素:实现预测特定区域范围内海面高度, 温度、盐度、海流速度纬向分量和海流速度经向分量变量。 全球海洋生态:实现预测全球范围内的叶绿素浓度、硅藻浓度等8种生态变量。 全球海浪高度:实现预测有效波高的变量。 模型服务 支持选择用于启动推理作业的模型。 结果存储路径 用于存放模型推理结果的OBS路径。 输入数据 支持选择用于存放作为初始场数据的文件路径。 预报天数 支持选择以起报时间点为开始,对海洋模型预测参数进行预报的天数,范围为1~14天。 起报时间 支持选择多个起报时间作为推理作业的开始时间,每个起报时间需为输入数据中存在的时间点。 海表变量 用于描述海洋表面及其生态系统状态的具体指标,尤其是在海洋模型中用于模拟海洋生态和物理过程的输入变量。包括海平面气压、海表高度、总叶绿素浓度、叶绿素浓度、硅藻浓度、颗石藻浓度、蓝藻浓度、铁浓度、硝酸盐浓度、混合层深度、海表高度、有效波高等指标。不同模型的指标以页面展示为准。 深海变量 用于描述海洋深层的物理和化学特性,这些参数在海洋模型中用于模拟海洋内部的动态和状态。包括海温、海盐、海流径向速率、海流纬向速率等。 输出设置 用于选择是否输出图片结果。 海洋类预测场景的参数配置示例如下: 图3 调测科学计算大模型示例(海洋类预测) 父主题: 调用科学计算大模型
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全