华为云用户手册

  • 查看和停止正在运行的查询语句 通过视图PG_STAT_ACTIVITY可以查看正在运行的查询语句。方法如下: 设置参数track_activities为on。 1 SET track_activities = on; 当此参数为on时,数据库系统才会收集当前活动查询的运行信息。 查看正在运行的查询语句。以查看正在运行的查询语句所连接的数据库名、执行查询的用户、查询状态及查询对应的PID为例: 1 SELECT datname, usename, state,pid FROM pg_stat_activity; 如果state字段显示为idle,则表明此连接处于空闲,等待用户输入命令。 如果仅需要查看非空闲的查询语句,则使用如下命令查看: 1 SELECT datname, usename, state FROM pg_stat_activity WHERE state != 'idle'; 若需要取消运行时间过长的查询,通过PG_TERMINATE_BACKEND函数,根据线程ID结束会话。 1 SELECT PG_TERMINATE_BACKEND(139834759993104); 显示类似如下信息,表示结束会话成功。 1 2 3 4 PG_TERMINATE_BACKEND ---------------------- t (1 row) 显示类似如下信息,表示用户执行了结束当前会话的操作。 1 2 FATAL: terminating connection due to administrator command FATAL: terminating connection due to administrator command gsql客户端使用PG_TERMINATE_BACKEND函数结束当前会话后台线程时,客户端不会退出而是自动重连。即还会返回“The connection to the server was lost. Attempting reset: Succeeded.” 1 2 3 FATAL: terminating connection due to administrator command FATAL: terminating connection due to administrator command The connection to the server was lost. Attempting reset: Succeeded.
  • 查看数据库中包含的表 例如,在PG_TABLES系统表中查看public schema中包含的所有表。 1 SELECT distinct(tablename) FROM pg_tables WHERE SCHEMANAME = 'public'; 结果类似如下这样: 1 2 3 4 5 6 7 8 9 tablename ------------------- err_hr_staffs test err_hr_staffs_ft3 web_returns_p1 mig_seq_table films4 (6 rows)
  • 管理UN LOG GED表 UNLOGGED表即非日志表。在非日志表中写入的数据不会被写入到预写日志中,这样就会比普通表快很多。但是非日志表在冲突、执行操作系统重启、强制重启、切断电源操作或异常关机后会被自动清理,会造成数据丢失的风险。非日志表中的内容也不会被复制到备服务器中。在非日志表中创建的索引也不会被自动记录。 使用场景:非日志表不能保证数据的安全性,需要在确保数据已经做好备份的前提下使用,例如系统升级时进行数据的备份。在创建非日志表时应将cnretry关闭(即设置GUC参数max_query_retry_times=0)。 故障处理:当异常关机等操作导致非日志表上的索引发生数据丢失时,用户应该对发生错误的索引进行重建。 9.1.0版本后,UNLOGGED表默认存储在pg_unlogged表空间下,且不可迁移或指定到其他表空间。 从低版本升级到9.1.0版本后,旧版本创建的UNLOGGED表还存储在原表空间下。 9.1.0版本提供UNLOGGED表迁移脚本switch_unlogged_tablepace.py,配合GUC参数enable_unlogged_tablespace_compat,可以优化RTO。 脚本位于 $GPHOME/script目录,可以通过-?获取帮助信息。 迁移所有UNLOGGED表(建议) 1 python3 switch_unlogged_tablepace.py -t switch 3. 迁移成功后,GUC参数enable_unlogged_tablespace_compat会自动设置为off。 建议在升级到9.1.0版本后通过以下两步操作提升实例重启RTO: 使用switch_unlogged_tablespace.py脚本将UNLOGGED表全部迁移到pg_unlogged表空间。 如果旧版本没有使用UNLOGGED表,建议将GUC参数enable_unlogged_tablespace_compat设置为OFF。
  • 创建表 CREATE TABLE命令创建一个表,创建表时可以定义以下内容: 表的列及数据类型。 表约束的定义,即任何用于限制列或者表中数据的表约束或者列约束。参见表约束的定义。 表分布的定义,即表的分布策略,它决定 GaussDB (DWS)数据库如何在片(Segment)之间划分数据。 参见表分布的定义。 表存储格式。参见选择GaussDB(DWS)表存储模型。 分区表定义。参见创建和管理GaussDB(DWS)分区表。
  • 表分布的定义 GaussDB(DWS)支持的分布方式:复制表(Replication)、哈希表(Hash)和轮询表(Roundrobin)。 轮询表(Roundrobin)分布方式仅8.1.2及以上集群版支持。 策略 描述 适用场景 优势与劣势 复制表(Replication) 集群中每一个DN实例上都有一份全量表数据。 小表、维度表。 Replication优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销,同时减少了plan segment(每个plan segment都会起对应的线程) Replication缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 哈希表(Hash) 表数据通过hash方式散列到集群中的所有DN实例上。 数据量较大的事实表。 在读/写数据时可以利用各个节点的IO资源,大幅度提升表的读/写速度。 一般情况下大表(1000000条记录以上)定义为Hash表。 轮询表(Roundrobin) 表的每一行被轮番地发送给各个DN,数据会被均匀地分布在各个DN中。 数据量较大的事实表,且使用Hash分布时找不到合适的分布列。 Roundrobin优点是保证了数据不会发生倾斜,从而提高了集群的空间利用率。 Roundrobin缺点是无法像Hash表一样进行DN本地化优化,查询性能通常不如Hash表。 一般在大表无法找到合适的分布列时,定义为Roundrobin表,若大表能够找到合适的分布列,优先选择性能更好的Hash分布。
  • 删除表数据 请谨慎执行DROP TABLE和TRUNCATE TABLE命令,删除表后,数据将无法恢复。 从数据库中删除表customer_t1。 1 DROP TABLE customer_t1; 清空一个表的行但不移除该表的定义,可使用DELETE或者TRUNCATE。 删除表customer_t1中所有的行。 1 TRUNCATE TABLE customer_t1; 删除表customer_t1中所有的行。 1 DELETE FROM customer_t1; 删除表customer_t1中所有c_customer_sk为3869的记录: 1 DELETE FROM customer_t1 WHERE c_customer_sk = 3869;
  • 查看表数据 使用系统表pg_tables查询数据库所有表的信息。 1 SELECT * FROM pg_tables; 使用gsql的\d+命令查询表的属性。 1 \d+ customer_t1; 执行如下命令查询表customer_t1的数据量。 1 SELECT count(*) FROM customer_t1; 执行如下命令查询表customer_t1的所有数据。 1 SELECT * FROM customer_t1; 执行如下命令只查询字段c_customer_sk的数据。 1 SELECT c_customer_sk FROM customer_t1; 执行如下命令过滤字段c_customer_sk的重复数据。 1 SELECT DISTINCT( c_customer_sk ) FROM customer_t1; 执行如下命令查询字段c_customer_sk为3869的所有数据。 1 SELECT * FROM customer_t1 WHERE c_customer_sk = 3869; 执行如下命令按照字段c_customer_sk进行排序。 1 SELECT * FROM customer_t1 ORDER BY c_customer_sk;
  • 使用压缩 表压缩可以在创建表时开启,压缩表能够使表中的数据以压缩格式存储,意味着占用相对少的内存。 对于I/O读写量大,CPU富足(计算相对小)的场景,选择高压缩比;反之选择低压缩比。建议依据此原则进行不同压缩下的测试和对比,以选择符合自身业务情况的最优压缩比。压缩比通过COMPRESSION参数指定,其支持的取值如下: 列存表为:YES/NO/LOW/MIDDLE/HIGH,默认值为LOW。 行存表为:YES/NO,默认值为NO。(行存表压缩功能暂未商用,如需使用请联系技术支持工程师) 各压缩级别所适用的业务场景说明如下: 压缩级别 所适用的业务场景 低级别压缩 系统CPU使用率高,存储磁盘空间充足。 中度压缩 系统CPU使用率适中,但存储磁盘空间不是特别充足。 高级别压缩 系统CPU使用率低,磁盘空间不充裕。 例如,创建一个名为customer_t3的列存压缩表: 1 2 3 4 5 6 7 CREATE TABLE customer_t3 ( state_ID CHAR(2), state_NAME VARCHAR2(40), area_ID NUMBER ) WITH (ORIENTATION = COLUMN,COMPRESSION=middle);
  • 模板和默认数据 GaussDB(DWS)提供了两个模板数据库template0、template1,以及一个默认的数据库gaussdb。 默认情况下,每个新创建的数据库都是基于一个模板数据库。GaussDB(DWS)数据库默认使用template1作为模板,编码格式为SQL_ASCII,且不允许自定义字符编码。若创建数据库时需指定字符编码,请使用template0创建数据库。 请避免使用客户端或其他手段连接及操作两个模板数据库。 通过“show server_encoding”命令可以查看当前数据库存储编码。
  • 创建数据库 使用CREATE DATABASE语句创建一个新的数据库。 1 CREATE DATABASE mydatabase; 创建数据库时,若数据库名称长度超过63字节,server端会对数据库名称进行截断,保留前63个字节,因此建议数据库名称长度不要超过63个字节,不要使用多字节字符作为对象名。(如果出现因为误操作导致在多字节字符的中间截断进而无法删除数据库对象的现象,请使用截断前的数据库对象名进行删除操作,或将该对象从各个数据库节点的相应系统表中依次删掉。) 数据库名称遵循SQL标识符的一般规则。当前用户自动成为此新数据库的所有者。 如果一个数据库系统用于承载相互独立的用户和项目,建议把它们放在不同的数据库里。 如果项目或者用户是相互关联的,并且可以相互使用对方的资源,则应该把它们放在同一个数据库里,但可以规划在不同的Schema中。 GaussDB(DWS)允许创建的数据库总数目上限为128个。 用户必须拥有数据库创建的权限或者是数据库的系统管理员权限才能创建数据库。
  • 声明 GaussDB(DWS)的作者们在进行文档写作时努力基于商用角度,从使用场景和任务完成角度给出内容指引。即使这样,文档中依然可能存在对Postgres内容的引用和参考。对于这类内容,遵从如下的Postgres Copyright: Postgres-XC is Copyright © 1996-2013 by the PostgreSQL Global Development Group. PostgreSQL is Copyright © 1996-2013 by the PostgreSQL Global Development Group. Postgres95 is Copyright © 1994-5 by the Regents of the University of California. IN NO EVENT SHALL THE UNIVERSITY OF CALIFORNIA BE LIABLE TO ANY PARTY FOR DIRECT, INDIRECT, SPECIAL, INCIDENTAL, OR CONSEQUENTIAL DAMAGES, INCLUDING LOST PROFITS, ARISING OUT OF THE USE OF THIS SOFTWARE AND ITS DOCUMENTATION, EVEN IF THE UNIVERSITY OF CALIFORNIA HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. THE UNIVERSITY OF CALIFORNIA SPECIFICALLY DISCLAIMS ANY WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE. THE SOFTWARE PROVIDED HEREUNDER IS ON AN "AS-IS" BASIS, AND THE UNIVERSITY OF CALIFORNIA HAS NO OBLIGATIONS TO PROVIDE MAINTENANCE, SUPPORT, UPDATES, ENHANCEMENTS, OR MODIFICATIONS.
  • 阅读指引 对于首次接触 GaussDB(DWS)的用户,建议先阅读以下部分: 介绍GaussDB(DWS)服务的特点、功能和适用场景。 GaussDB(DWS)入门包含一个示例,引导您完成创建 数据仓库 集群、创建数据库表、上传数据和测试查询这一过程。 如果打算或正在将应用程序从其他数据仓库向GaussDB(DWS)迁移,您可能想知道GaussDB(DWS)在实施方式上有什么区别。 GaussDB(DWS)进行数据库应用程序开发过程中,下表将帮您找到对应的信息。 如果要.. 查阅建议 快速开始使用GaussDB(DWS)。 首先,按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后,将数据加载到表中并编写查询内容以操作数据仓库中的数据后,可以回到《数据仓库服务数据库开发指南》。 了解GaussDB(DWS)数据仓库的内部架构。 如果您想要更全面地了解GaussDB(DWS)服务,请转到GaussDB(DWS)产品首页。 了解如何设计表以实现良好性能。 GaussDB(DWS)开发设计建议介绍数据库应用程序开发过程中,应当遵守的设计规范。依据这些规范进行建模,能够更好的契合GaussDB(DWS)的分布式处理架构,输出更高效的业务SQL代码。 对业务的执行效率不满意,期望通过调优加快业务执行的情况下,可以参考GaussDB(DWS)性能调优进行调优。性能调优是一项复杂的工程,有些时候无法系统性地说明和解释,而是依赖于DBA的经验判断。尽管如此,GaussDB(DWS)性能调优一节还是期望能尽量系统性的对性能调优方法加以说明,方便应用开发人员和刚接触GaussDB(DWS)的DBA参考。 加载数据。 导入数据介绍数据入库GaussDB(DWS)的方法和途径。 导入最佳实践提供有关快速高效数据导入的经验提示。 管理用户、组和数据库安全。 GaussDB(DWS)数据库安全管理涵盖数据库安全主题。 监控和优化系统性能。 GaussDB(DWS)系统表和系统视图详细介绍您可以从中查询数据库状态并监控查询内容与流程的系统表和视图。 您还应该查阅管理指南了解如何使用GaussDB(DWS)管理控制台检查系统运行状况、监控指标。
  • SQL语法文本格式约定 为了方便对语法使用的理解,在文档中对SQL语法文本按如下格式进行表述。 格式 意义 大写 语法关键字(语句中保持不变、必须照输的部分)采用大写表示。 小写 参数(语句中必须由实际值进行替代的部分)采用小写表示。 [ ] 表示用“[ ]”括起来的部分是可选的。 ... 表示前面的元素可重复出现。 [ x | y | ... ] 表示从两个或多个选项中选取一个或者不选。 { x | y | ... } 表示从两个或多个选项中选取一个。 [x | y | ... ] [ ... ] 表示可选多个参数或者不选,如果选择多个参数,则参数之间用空格分隔。 [ x | y | ... ] [ ,... ] 表示可选多个参数或者不选,如果选择多个参数,则参数之间用逗号分隔。 { x | y | ... } [ ... ] 表示可选多个参数,至少选一个,如果选择多个参数,则参数之间以空格分隔。 { x | y | ... } [ ,... ] 表示可选多个参数,至少选一个,如果选择多个参数,则参数之间用逗号分隔。
  • 数据 在数据中,配置地图的数据来源,更多介绍请参见数据接入。 图11 设置组件数据源 自定义围栏数据:地图自定义围栏数据桥接器,数据中省/直辖市code一致,则认为属于同一围栏区域。预览或发布页面时,单击围栏区域,地图会下钻到围栏区域。若未配置该连接器,则下钻到单独省/直辖市。 图12 自定义围栏数据 热力图层数据:热力图层数据桥接器/数据集,根据省/直辖市数值大小,热力图层颜色深浅不一。 柱状图层数据:柱状图层数据桥接器/数据集,根据省/直辖市数值大小,柱子颜色、高度不一。 标签图层数据:标签图层数据桥接器/数据集,以标签形式展示省/直辖市具体数据。
  • 配置 在配置中,设置地图组件的基本信息、热力图层、柱状图层和标签图层等。 图4 配置 地图基本配置 地图类型:地图第三方服务商,如天地图、高德地图和百度地图。 高德/百度/天地图密钥:地图第三方密钥,请自行到对应官网申请。 高德地图第三方密钥,请参考高德开放平台申请。 百度地图第三方密钥,请参考百度地图开放平台申请。 天地图第三方密钥,请参考天地图官网申请。 自定义地图:根据实际需求,自定义地图。如果开启自定义地图,请配置地图GeoJson数据链接地址或配置GeoJson数据素材。 地图中心经度:设置地图中心点的经度。 地图中心纬度:设置地图的中心点的纬度。 地图缩放级别:设置地图的缩放层级,最小级别为4,最大级别为19。 地图样式:设置地图基本样式模板。 热力图层配置 显示热力图层:是否显示热力图层。 数据标题:设置热力图层的数据标题。 显示类型 :设置热力图层显示类型,如均分显示或区间部分。 设置为“均分显示”时,会显示所有数据,且区域数据从小到大,对应图层颜色由浅到深。 图5 均分显示 设置为“区间显示”时,仅显示符合要求的数据,且区域图层颜色取决于其数据所处区间对应的颜色。 图6 区间显示 填充颜色:设置热力图层的填充颜色。“显示类型”为“均分显示”时,区域数据从小到大,对应图层颜色由浅到深。“显示类型”为“区间显示”时,区域图层颜色取决于其数据所处区间的对应颜色。 描边样式:设置省/直辖市描边样式,如虚线、点线等。 描边粗细:设置省/直辖市描边粗细,单位为px。 描边颜色:设置省/直辖市描边颜色。 柱状图层配置 显示柱状图层:是否显示柱状图层。 显示类型:设置柱图层显示内容,如均分显示或区间部分。 设置为“均分显示”时,会显示所有数据,且区域数据从小到大,对应图层颜色由浅到深。 图7 均分显示 设置为“区间显示”时,仅显示符合要求的数据,且区域图层颜色取决于其数据所处区间对应的颜色。 图8 区间显示 填充颜色:设置柱子的填充颜色。“显示类型”为“均分显示”时,区域数据从小到大,对应图层颜色由浅到深。“显示类型”为“区间显示”时,区域图层颜色取决于其数据所处区间的对应颜色。 柱子粗细:设置柱子的粗细,单位为px。 柱子长度比:数据最大值对应的柱子高度与该地图上1个纬度直线距离的比值,取值范围为[0, 10]。 显示标注:柱子上是否显示标注文字样式。设置为“显示”时,支持设置标注文字的字体、大小和颜色。 标签图层配置 显示标签图层:是否显示标签图层。 数据标题:设置标签图层的数据标题。 显示类型:设置标签的显示内容,如均分显示或区间部分。 设置为“均分显示”时,会显示所有数据,且区域数据从小到大,对应图层颜色由浅到深。 图9 均分显示 设置为“区间显示”时,仅显示符合要求的数据(如0~10之间的数据),且区域图层颜色取决于其数据所处区间对应的颜色。 图10 区间部分 填充颜色:设置标签数据所处区间的对应颜色。均分显示时,区域数据从小到大,对应图层颜色由浅到深。区间显示时,区域图层颜色取决于其数据所处区间对应颜色。 数值字体:设置标签数值的字体、颜色和大小等。 数值后缀:设置标签数值的后缀,如%。 内容字体:设置标签内容的字体、颜色和大小等。 内容背景颜色:设置标签内容的背景颜色。
  • 卡片 卡片是指包裹图表组件的外层架构,可以理解为组件由卡片中基础元素(卡片标题、图表、卡片背景、卡片边框)和图表元素构成。 图3 卡片 背景 背景色:设置组件卡片的背景颜色。 边框:组件卡片边框设置,支持无边框、全边框和角边框三种样式。设置为全边框和角边框时,支持设置组件外圈边框的线型、圆角等。 样式:选择图片时,图片显示的样式,支持普通、居中、拉伸和平铺四种样式。 选择图片:使用本地的图片作为组件背景,支持新增目录和子目录,便于对图片进行分类管理。推荐使用JPG、JPEG、PNG或GIF格式的图片,且每张图片不能超过50MB。 特效:组件是否高亮显示,支持默认展示和跳转到页面时展示。 边距:组件中图表距离整个组件四边(上、下、左、右,如图2)的距离,默认为0,即铺满整个组件。
  • 步骤四:使用私有化部署的AstroCanvas服务 登录私有化部署的AstroCanvas界面。 在浏览器中,输入AstroCanvas服务所在服务器的IP地址和端⼝,进入AstroCanvas登录页。 http://10.10.*.*:19996/ 其中,“10.10.*.*”为1.d中,修改application.yml时配置的服务器公网ip,“19996”为端口。 输入5中配置的用户名和密码,单击“登录”,即可进入AstroCanvas界面。 图15 输入用户名和密码 获取可视化应用本地部署包。 在步骤一:购买AstroCanvas企业版实例中,单击AstroCanvas实例中的“进入首页”,进入AstroCanvas界面。 在项目列表中,将鼠标放在对应的项目上,单击。 图16 单击下载本地部署包图标 在弹出的页面,勾选需要下载的页面,单击“下载本地部署包”。 可视化应用本地部署包用于在部署后的AstroCanvas运行环境中安装应用,实现项目的迁移,包名为“AstroCanvas_项目名_随机编码.zip“。 图17 选择本地部署的页面 添加可视化应用。 在项目列表中,单击“导入项目包”。 选择2中下载的可视化应用本地部署包(AstroCanvas_项目名_随机编码.zip)。 在项目列表中,可查看到项目已成功导入。 图18 查看导入的项目 配置数据源密码和加密字段。 在运行环境中导入可视化应用本地部署包后,如果应用包中包含关系型数据库、Prometheus和HTTP连接器数据源,需要重新配置密码和加密字段。 图19 修改关系型数据库数据源密码 图20 修改Prometheus数据源密码 图21 修改HTTP连接器数据源加密字段 访问项目中的页面。 在AstroCanvas企业版项目中发布页面时,如果“访问限制”设置的是“Token认证”,则不需要执行如下操作,直接在项目详情页单击“页面URL”地址,即可正常访问页面。如何设置Token认证,请参见如何设置Token认证。发布页面时如果“访问限制”设置的是“分享码”,在私有化部署的AstroCanvas环境中导入项目后,页面中原先设置的分享码会被置空,请按照如下操作重新设置。 在项目列表中,单击已导入的项目,进入项目详情页。 单击待访问页面后的,为页面设置分享码。 图22 为页面设置分享码 输入分享码,单击,保存设置。 图23 输入分享码 单击,复制页面URL地址。 图24 获取页面URL 在浏览器中输入获取到的地址,输入分享码后,即可正常访问页面。 图25 输入分享码
  • 步骤三:安装运行环境 部署AstroCanvas服务。 登录您的服务器,创建安装目录。 cd /home/ mkdir canvas_private 其中,“canvas_private”为安装目录,可自定义。本章节以在“home”目录创建安装目录为例进行介绍,您也可以在其他目录下创建该目录。 将步骤二:下载运行环境中获取的AstroCanvas运行环境部署包(AstroCanvas_Runtime.zip),上传到安装目录下。 解压已上传的部署包,并进入已解压后的目录。 unzip AstroCanvas_Runtime.zip cd AstroCanvas_Runtime 图6 解压后包中的内容 进入config目录,新增“application.yml”配置文件。 cd config vi application.yml 在配置文件中,添加如下内容: # 配置当前机器的ip(默认127.0.0.1) hostIp: 10.10.*.* # 配置http连接器超时时间(默认3000) http: connectTimeout: 30000 socketTimeout: 30000 magno: deploy: # 配置私有化环境启动端口(默认8081) serverPort: 19996 # 配置是否开启匿名访问,默认是false,开启则改为true enableAnonymous: false # 租户ID tenantId: tenant-2bb76b9b9f24****09737a83 其中,“tenantId”为租户ID,请参考步骤二:下载运行环境中操作,进入“本地部署信息”页面。在租户ID后,单击,即可复制租户ID。 图7 复制租户ID 进入解压后的目录,执行启动命令。 cd /home/canvas_private/AstroCanvas_Runtime sh start.sh 如果启动失败,请查看启动日志“/home/canvas_private/AstroCanvas_Runtime/startlogs/start.log”。如果提示权限不足,请返回安装目录,设置目录下所有文件为最大权限。 cd /home/canvas_private/AstroCanvas_Runtime chmod -R 777 AstroCanvas_Runtime 其他常用操作及命令如下: 查看日志:/home/canvas_private/AstroCanvas_Runtime/logs/***-PrivateDeployApp.log 重启服务:sh restart.sh,执行启动命令后,如果修改了“application.yml”文件,需要执行该命令,重新启动。 停止服务:sh stop.sh 服务启动后,在浏览器中,输入AstroCanvas服务所在服务器的IP地址和端⼝,获取机器码。 http://10.10.*.*:19996/ 其中,“10.10.*.*”为1.d中,修改application.yml时配置的服务器ip、“19996”为端口。 图8 复制服务器机器码 注册服务器。 在AstroCanvas界面,单击右上角的账号名,选择“本地部署”。 图9 选择本地部署 在本地部署信息页面,单击“注册”。 图10 选择新建服务机器码 输入服务器机器码和名称,单击“确定”,生成测试Key。 图11 生成测试Key 其中,“服务器机器码”请配置为2中获取的内容,服务器名称请根据实际情况进行配置。 返回本地部署信息页面,单击服务器机器码后的,下载测试Key文件(runtime.key)。 图12 下载测试Key文件 将获取的测试Key,上传到本地服务器的“/home/canvas_private/AstroCanvas_Runtime/config”目录下,验证服务器部署情况。 cd /home/canvas_private/AstroCanvas_Runtime/config 测试Key有效期为3天,过期后请使用机器码重新注册并生成测试Key或启用为正式Key。下载新的Key后,需要删除原先的Key,替换为新的Key。 使用机器码生成新的测试Key时,需要先删除失效的Key,再重新注册。因为一个机器码只能注册一个Key。 在浏览器中,输入AstroCanvas服务所在服务器的IP地址和端⼝,可正常进入AstroCanvas界面,说明已部署成功。 http://10.10.*.*:19996/ 其中,“10.10.*.*”为1.d中,修改application.yml时配置的服务器公网ip,“19996”为端口。 验证无误后,单击测试Key右侧操作栏中的,在弹出的页面单击“确定”,启动测试Key。 图13 启动测试Key 启动成功后,返回本地部署信息页面,可查看到“Key类型”由“测试”变为“正式”。 图14 正式Key 下载正式Key文件(runtime.key),替换测试Key的runtime.key文件,替换后重启服务即可使用。 配置登录私有化部署AstroCanvas的用户名和密码。 进入“/home/canvas_private/AstroCanvas_Runtime”目录。 cd /home/canvas_private/AstroCanvas_Runtime 编辑userConfig.json文件,在文件中设置登录AstroCanvas的用户名和密码。 vi userConfig.json 配置示例如下: { "accounts": [ { "name": "user1", "pwd": "user1用户登录密码" }, { "name": "user2", "pwd": "user2用户登录密码" } ] } 配置完成后,保存文件并退出。
  • 操作流程 私有化部署AstroCanvas的操作流程,如图1所示。 图1 AstroCanvas私有化部署流程 步骤一:购买AstroCanvas企业版实例 购买一个AstroCanvas企业版实例,当前仅AstroCanvas企业版实例才支持私有化部署。 步骤二:下载运行环境 在企业版AstroCanvas界面,下载运行环境部署包。运行环境部署包用于在服务器上部署AstroCanvas运行环境。 步骤三:安装运行环境 在本地服务器上,安装运行环境部署包,获取机器码。在华为云企业版AstroCanvas注册机器码,生成Key。服务器绑定Key后,才可正常访问私有化部署的AstroCanvas运行环境。 步骤四:使用私有化部署的AstroCanvas服务 在私有化部署的AstroCanvas运行环境中,安装可视化应用部署包,更新可视化应用的配置。
  • 步骤二:下载运行环境 在AstroCanvas服务控制台,单击实例中的“进入首页”,进入AstroCanvas界面。 在页面右上角,单击“账号名”,选择“本地部署”。 图4 选择本地部署 在本地部署信息中,单击“下载运行环境”,下载AstroCanvas运行环境部署包。 运行环境部署包用于在服务器上部署AstroCanvas服务,包名为“AstroCanvas_Runtime.zip”。如果需要下载历史版本的部署包,可以单击“版本列表”,再单击对应版本后的,即可将该版本的部署包下载到本地。 图5 下载运行环境
  • 步骤一:购买AstroCanvas企业版实例 进入购买Astro大屏应用实例页面。 实例版本选择“Astro大屏应用企业版”,选择购买时长,单击“立即购买”。 选择支付方式,单击“确认付款”,完成订单支付。 图2 确认付款 订单支付成功后,单击“返回Astro轻应用控制台”。 在Astro大屏应用控制台中,可以查看到Astro大屏应用的安装状态。当“实例状态”变为“运行中”时,说明实例已安装好,可以正常使用。 图3 Astro大屏应用控制台 单击实例中的“进入首页”,进入AstroCanvas界面,开发页面并发布。 如何使用AstroCanvas开发可视化页面,请参见创建页面。
  • 图形 图形是指组件中,实现 数据可视化 的具体图形表达元素,例如饼图的扇区、柱状图的柱子、折线图的线条、拐点等。 图8 图形 统一配置 显示范围:统一设置图层的显示范围,地图缩放级别在该范围内时,显示对应图层。 图层透明度:统一设置图层的透明度。 图层:单击“新增图层”,可新建图标图层、标签图层、柱状图层、飞线图层、基础热力图层和区域热力图层。 图9 新建图标图层 基本配置 类型:固定为“图标图层”。 图层:显示或隐藏图层。 显示范围:设置图层的显示范围,地图缩放级别在该范围内时,显示对应图层。 图层透明度:设置图层的透明度。 标签避让:开启后,地图中重叠的图标会避让。 图层样式 显示类型:设置图标的显示类型,支持均分显示和区间显示。 图标图片:“显示类型”设置为“均分显示”时,会根据图标图片的数量,将图标值从最小值到最大值的范围进行均分,落在不同范围的值,将显示对应的图标。“显示类型”设置为“区间显示”时,可设置不同的区间,当图标值落在对应的区间内,显示对应的颜色值,区域范围外的图标将不显示。 悬浮放大:是否开启鼠标悬浮后图标放大。悬浮方法和标签避让同时开启会影响显示效果。 图片宽度:设置图片的宽度。 图片高度:设置图片的高度。 上下偏移:设置图标根据点经纬度的上下偏移。 左右偏移:设置图标根据点经纬度的左右偏移。 图层标签 标签:是否开启图标标签。 标签悬浮:开启时,图标鼠标悬浮时显示标签。关闭时,标签常显。 系列名:标签是否显示系列名,对应静态数据中的“label”字段。 系列名字体:设置系列名的字体、大小和颜色等。“标签悬浮”设置为“开启”时,显示该配置项。 数值:标签是否显示数值,对应静态数据中的“value”字段。 数值字体:设置数值字体。“标签悬浮”设置为“开启”时,显示该配置项。 文字大小:设置常显标签的文字大小。“标签悬浮”设置为“关闭”时,显示该配置项。 文字颜色:设置常显标签的文字颜色。“标签悬浮”设置为“关闭”时,显示该配置项。 数值显示:是否显示最大值、最小值。选中后,对应最大值最小值的标签背景色、字体颜色将会发生变化。 图10 新建标签图层 基本配置 类型:固定为“标签图层”。 图层:显示或隐藏图层。 显示范围:设置图层的显示范围,地图缩放级别在该范围内时,显示对应图层。 图层透明度:设置图层的透明度。 标签样式 最大宽度:设置标签的最大宽度。 溢出文本:设置文本溢出时的显示方式,支持省略和换行。 文字对齐方式:设置文本对齐方式,支持左对齐、居中和右对齐。 系列名:标签是否显示系列名,对应静态数据中的“label”字段。 系列名字体:设置系列名的字体、大小和颜色等。 数值:标签是否显示数值,对应静态数据中的“value”字段。 数值字体:设置数值的字体、大小和颜色等。 背景样式:设置标签的背景样式,支持颜色和图片。 显示类型:设置标签背景的显示类型,支持均分显示和区间显示。 颜色设置:“显示类型”设置为“均分显示”时,会根据颜色设置的数量,将标签值从最小值到最大值的范围进行均分,落在不同范围的值,将显示对应的背景颜色。“显示类型”设置为“区间显示”时,可设置不同的区间,当标签值落在对应的区间内,显示对应的背景颜色,区域范围外的图标将不显示。 填充方式:图标的填充方式,支持普通、居中、拉伸和平铺。“背景样式”设置为“图片”时,显示该配置项。 背景图片:“显示类型”设置为“均分显示”时,会根据背景颜色的数量,将标签值从最小值到最大值的范围进行均分,落在不同范围的值,将显示对应的背景图片。“显示类型”设置为“区间显示”时,可设置不同的区间,当标签值落在对应的区间内,显示对应的背景图片,区域范围外的图标将不显示。 选中色:设置标签鼠标悬浮时的字体颜色,同时也是交互动作中,高亮标签的颜色。 上下偏移:设置标签根据点经纬度的上下偏移。 左右偏移:设置标签根据点经纬度的左右偏移。 标签图标 标签图标:是否显示标签图标。 显示类型: 标签图标的显示类型,支持均分显示和区间显示。 填充方式:图标的填充方式,支持普通、居中、拉伸和平铺。 图标图片:“显示类型”设置为“均分显示”时,会根据图标图片的数量,会将标签值从最小值到最大值的范围进行均分,落在不同范围的值,将显示对应的图标。“显示类型”设置为“区间显示”时,可设置不同的区间,当标签值落在对应的区间内,显示对应的图标,区域范围外的图标将不显示。 图片宽度:设置图片的宽度。 图片高度:设置图片的高度。 上下偏移:设置图标根据点经纬度的上下偏移。 左右偏移:设置图标根据点经纬度的左右偏移。 图11 新建柱状图层 基本配置 类型:固定为“柱状图层”。 图层:显示或隐藏图层。 显示范围:设置图层的显示范围,地图缩放级别在该范围内时,显示对应图层。 图层透明度:设置图层的透明度。 图层样式 显示类型:设置图标的显示类型,支持均分显示和区间显示。 颜色设置:根据颜色设置的数量,会将值从最小值到最大值的范围进行均分,落在不同范围的值,将显示对应的颜色。“显示类型”设置为“均分显示”时,才显示该配置项。 填充颜色:根据设置不同的区间,当值落在对应的区间内,显示对应的颜色值,区域范围外的将不显示。“显示类型”设置为“区间显示”时,才显示该配置项。 选中色:设置鼠标悬浮和单击颜色,同时也是交互动作中,高亮柱体的颜色。 边数:柱状图的边数,边数越多越接近圆柱形。如果希望做成圆柱体效果,可以将此参数设置为一个较大的值,例如32。 单位:图层的单位,支持像素和米。 半径:棱柱的半径。 高度范围:棱柱的高度。 图层标签 标签:是否开启图标标签。 标签悬浮:开启时,图标鼠标悬浮时显示标签。关闭时,标签常显。 系列名:标签是否显示系列名,对应静态数据中的“label”字段。 系列名字体:设置系列名的字体、大小和颜色等。“标签悬浮”设置为“开启”时,显示该配置项。 数值:标签是否显示数值,对应静态数据中的“value”字段。 数值字体:设置数值的字体、大小和颜色。“标签悬浮”设置为“开启”时,显示该配置项。 数值显示:是否显示最大值、最小值。选中后,对应最大值最小值的标签背景色、字体颜色将会发生变化。 图12 新建飞线图层 基本配置: 类型:固定为“飞线图层”。 图层:显示或隐藏图层。 显示范围:设置图层的显示范围,地图缩放级别在该范围内时,显示对应图层。 图层透明度:设置图层的透明度。 图层样式 颜色样式:设置飞线的颜色样式,支持单色和渐变色。 显示类型:设置飞线颜色的显示类型,支持均分显示和区间显示。 颜色设置:根据颜色设置的数量,会将飞线值从最小值到最大值的范围进行均分,落在不同范围的值,将显示对应的颜色。“显示类型”设置为“均分显示”时,才显示该配置项。 填充颜色:根据设置不同的区间,当飞线值落在对应的区间内,显示对应的颜色值。区域范围外的飞线将不显示。“显示类型”设置为“区间显示”时,才显示该配置项。 选中色:设置飞线鼠标悬浮颜色,同时也是交互动作中,高亮飞线的颜色。 飞线弧度:设置飞线的弧度,只在3D模式下生效。 起点宽度:设置飞线的起点宽度。 终点宽度:设置飞线的终点宽度。 动画效果 脉冲效果:是否开启飞线的脉冲效果。 脉冲点长度:设置脉冲长度,开启脉冲效果后显示该配置项。 脉冲点速度:设置脉冲速度,开启脉冲效果后显示该配置项。 头部颜色:设置脉冲的头部颜色,开启脉冲效果后显示该配置项。 尾部颜色:设置脉冲的尾部颜色,开启脉冲效果后显示该配置项。 气泡效果:是否开启飞线终点的气泡效果。 气泡样式:设置气泡的颜色,支持蓝色、黄色、绿色、红色,开启气泡效果后显示该配置项。 气泡半径:设置气泡的半径,开启气泡效果后显示该配置项。 动画速度:设置气泡的动画速度,开启气泡效果后显示该配置项。 图层标签 标签悬浮:飞线鼠标悬浮时,是否显示标签。 系列名:标签是否显示系列名。 系列名内容:请输入系列名内容。 系列名字体:设置系列名的字体、颜色和大小等。 数值:标签是否显示数值,对应静态数据中的“value”字段。 数值字体:设置数值的字体、颜色和大小等。 数值显示:是否显示最大值、最小值。选中后,对应最大值最小值的标签背景色、字体颜色将会发生变化。 图13 新建基础热力图层 基本配置 类型:固定为“基础热力图层”。 图层:显示或隐藏图层。 显示范围:设置图层的显示范围,地图缩放级别在该范围内时,显示对应图层。 图层透明度:设置图层的透明度。 图层样式 颜色设置:设置图层的颜色,单击“新增颜色设置”,可添加新的颜色。 最大值:热力值的最大值,默认为数据中的最大值,也可以自定义设置,会控制热力的最热区域的显示效果。 最小值:热力值的最小值,默认为数据中的最小值,也可以自定义设置,会控制热力的最冷区域的显示效果。 单位:热力的单位,支持“像素”单位和“米”单位的热力聚合。 半径:设置热力的聚合半径。 图14 设置半径 高度:设置热力最高点的高度值。 图15 设置高度 图16 新建区域热力图层 基本配置 类型:固定为“区域热力图层”。 图层:显示或隐藏图层。 显示范围:设置图层的显示范围,地图缩放级别在该范围内时,显示对应图层。 图层透明度:设置图层的透明度。 图层样式 显示类型:设置图标的显示类型,支持均分显示和区间显示。 颜色设置:根据颜色设置的数量,会将值从最小值到最大值的范围进行均分,落在不同范围的值,将显示对应的颜色。“显示类型”设置为“均分显示”时,才显示该配置项。 填充颜色:根据设置不同的区间,当值落在对应的区间内,显示对应的颜色值,区域范围外的将不显示。“显示类型”设置为“区间显示”时,才显示该配置项。 选中色:设置鼠标单击和悬浮颜色,同时也是交互动作中,高亮区域的颜色。 区域边框:设置行政边界的颜色和边框大小。 图层标签 标签:是否开启图标标签。 标签悬浮:开启时,图标鼠标悬浮时显示标签。关闭时,标签常显。 系列名:标签是否显示系列名,对应静态数据中的“label”字段。 系列名字体:设置系列名的字体、大小和颜色等。“标签悬浮”设置为“开启”时,显示该配置项。 数值:标签是否显示数值,对应静态数据中的“value”字段。 数值字体:设置数值的字体、大小和颜色等。“标签悬浮”设置为“开启”时,显示该配置项。 数值显示:是否显示最大值、最小值。选中后,对应最大值最小值的标签背景色、字体颜色将会发生变化。
  • 配置 在配置中,设置地图组件的基本信息、地图样式、地图控件和地图控制等。 图4 配置 地图基本配置 地图密钥:输入地图的服务密钥,请参考高德开放平台中操作自行到官网申请。 安全密钥:如果您的地图密钥是在2021年12月02日以后申请的key,需要配合安全密钥一起使用。如何使用安全密钥,请参见JS API 安全密钥使用。 地图中心:设置地图中心的设置类型,支持自定义和行政区。 行政区编码:设置行政区或行政区对应的编码,如何下载行政区编码,请参见Web服务 API 相关下载。“地图中心”设置为“行政区”时,才显示该配置。 地图中心经度:设置地图中心点的经度。“地图中心”设置为“自定义”时,才显示该配置。 地图中心纬度:设置地图的中心点的纬度。“地图中心”设置为“自定义”时,才显示该配置。 缩放级别:设置地图的缩放层级。“地图中心”设置为“自定义”时,才显示该配置。 缩放范围:设置地图可以缩放的范围,取值范围为2~26。 POI显示:是否开启POI显示,关闭后不会显示全部地图文字和POI信息。 地图样式 底图样式:设置底图的样式类型,支持标准地图和卫星图。 显示要素:设置地图显示的元素,支持区域面、道路、建筑物和标注。当“底图样式”设置为“标准地图”时,才显示该配置项。 显示路网:是否显示路网,当“底图样式”设置为“卫星图”时,才显示该配置项。 实时路况:是否显示实时路况。 视图模式:设置地图的视图模式,支持2D平面图和3D平面图。 俯仰角度:设置地图的初始化俯仰角度。“视图模式”设置为“3D平面图”时,才显示该配置项。 地图样式:设置地图样式模板,支持标准模板和自定义模板。 标准模板:设置地图标准的样式模板,可选择高德地图支持的11种模板,即标准、幻影黑、月光银、远山黛、草色青、雅士灰、涂鸦、马卡龙、靛青蓝、极夜紫和酱籽。 自定义地图:根据实际需求自定义地图。 如何自定义地图,请参见自定义地图。 区域掩模 区域掩模:是否显示区域内的掩模。开启后,只显示区域内的图层和覆盖物。 掩模边界:掩模边界信息的获取方式,支持直接设置行政区和geojson两种方式。 行政区编码:设置行政区或行政区对应的编码,如何下载行政区编码,请参见Web服务 API 相关下载。“掩模边界”设置为“行政区”时,才显示该配置项。 选择数据:通过上传geojson来设置掩模的边界信息。“掩模边界”设置为“geojson”时,才显示该配置项。 掩模边框:设置掩模边框的颜色和大小。 地图行政区 行政区:是否高亮显示行政区。 行政区范围:设置行政区范围的获取方式,支持直接设置行政区和geojson两种方式。 行政区编码:设置行政区或行政区对应的编码,如何下载行政区编码,请参见Web服务 API 相关下载。“行政区范围”设置为“行政区”时,才显示该配置项。 选择层级:设置高亮行政区的下钻范围,支持显示省级、显示市级和显示区级。选择的层级必须低于设置的行政区,例如,行政区编码设置为A市,选择层级只能设置为市级或者区级才会有效。“行政区范围”设置为“行政区”时,才显示该配置项。 选择数据:通过上传geojson,来设置行政区范围。“行政区范围”设置为“geojson”时,才显示该配置项。 层级颜色:设置高亮行政区的颜色。 行政区边框:设置高亮行政区的边框颜色。 地图控件 缩放:开启后,地图右下角会添加缩放控件。 图5 开启缩放效果 旋转:开启后,地图右上角会添加旋转控件。 图6 开启旋转效果 比例尺:开启后,地图左下角会添加比例尺控件。 图7 开启比例尺效果 地图控制 拖拽:设置地图是否支持拖拽。 缩放:设置地图是否支持缩放。 双击放大:设置地图是否支持双击放大。“缩放”设置为“开启”时,才显示该配置项。 旋转:设置地图是否支持旋转。
  • 查看集群内节点列表 节点列表中包含节点名称、状态、IP地址、Pod(已分配/总额度)、CPU申请比率/限制比率/使用率,以及内存申请比率/限制比率/使用率等信息。 图1 节点列表页面 您可以通过在列表上方按照节点名称、状态、私有地址和公网地址进行筛选,快速找到需要的节点。在列表的右上角,您可以单击按钮来导出全部节点数据,或者选择部分节点进行导出,此时仅导出所选中的数据。导出的文件为“.xlsx”格式,文件命名中包含时间戳。 节点概况展示了节点的名称、当前运行状态、CPU/内存的使用率、所属集群、节点IP地址以及节点所在地区,且单击上方搜索框,选择属性类型,再输入对应的关键字,即可查询该条件下的节点。 当节点的CPU限制比率或内存限制比率超过100%时,意味着节点资源超分,节点上的负载限制值(可使用的最大值)之和已经超过了节点规格。如果负载占用资源过高,可能会导致节点异常。
  • 查看集群内节点详情 在节点列表中,单击需要查看详情的节点名称,进入该节点的详情页面,通过切换“概览”、“Pod列表”和“监控”页签查看相应内容。 表1 节点详情页面 词条 词条描述 概览 单击节点名称,可以进入节点概览页。在这里,您可以方便地查看: 资源健康概况:包括节点状态、Pod数量以及异常事件。 节点监控:包括近1小时、近8小时、近24小时以及自定义时间段内的监控概览,其中包括CPU使用率、内存使用率和网络流入/流出速率这些常见的监控指标。 Pod使用趋势:包括近1小时、近8小时、近24小时以及自定义时间段内CPU使用量、内存使用量Top5的Pod信息。 容器列表 Pod列表中包含了实例名称、状态、命名空间、实例IP、所在节点、重启次数、CPU申请/限制、内存申请/限制,以及CPU和内存使用率等详细信息。 您可以通过在列表上方按照实例名称、状态、命名空间、实例IP和所在节点进行筛选,快速找到需要的实例。 在列表的右上角,您可以单击按钮来导出全部实例数据,或者选择部分实例进行导出,此时仅导出所选中的数据。导出的文件为“.xlsx”格式,文件命名中包含时间戳。 单击实例名称可以查看实例的详细监控数据。更多相关内容,请参见查看集群内Pod情况。 监控 在此处,您可以方便地查看节点在近1小时、近8小时、近24小时以及自定义时间段内各维度资源的使用情况。 如需查看更多监控信息,请单击“查看全部仪表盘”,跳转至“仪表盘”页面,相应指导请参见仪表盘。
  • 查看/切换视图 选择一个容器舰队或者未加入舰队的集群。 图1 选择舰队或未加入舰队的集群 选择“仪表盘”页签,默认展示集群视图。 设置查看视图的相关参数。各个视图可供设置的参数不同,请参见表1。 设置视图的时间窗。 在页面右上角处,选择时间段,或者自定义时间,并单击刷新界面。 容器智能分析仪表盘提供了预置视图,您可单击视图名称边上的“切换视图”按钮,选择需要的视图查看监控数据。系统预置视图如表1所示。 表1 预置视图 视图名称 视图参数 视图中包含的监控指标 集群视图(默认视图) 集群 节点数/磁盘不可用节点数/不可用节点数 CPU/内存使用率 CPU/内存Requests水位 CPU/内存Limits水位 Pod/容器数 CPU/内存使用量 网络接收/发送速率 网络平均接收/发送速率 接收/发送数据包速率 丢包率(接收/发送) 磁盘IOPS(读+写) ThroughPut(读+写) APIServer视图 集群 实例 存活数 QPS 请求成功率(读) 处理中请求数 请求速率(读/写) 请求错误率(读/写) 请求时延(读/写)(99分位时延) 工作队列增加速率/深度 工作队列时延(99分位时延) 内存/CPU使用量 Go routine数 Pod视图 集群 命名空间 pod 容器数/运行中容器数 Pod状态 容器重启次数 CPU/内存使用量 CPU Throttling 网络接收/发送速率 接收/发送数据包速率 丢包率(接收/发送) 磁盘IOPS(读+写) ThroughPut(读+写) 文件系统使用率/使用量 主机视图 集群 节点 CPU/内存使用率 平均负载 内存使用量 磁盘写入/读取速率 磁盘空间使用 磁盘IO Node视图 集群 节点 CPU/内存使用率 CPU/内存Requests水位 CPU/内存Limits水位 内存使用量 网络接收/发送速率 接收/发送数据包速率(Pod) 接收/发送数据包速率 丢包率(接收/发送) 磁盘IOPS(读+写) ThroughPut(读+写) CoreDNS视图 集群 实例 请求速率(记录类型/区域/DO标志位) 请求数据包(UDP/TCP) 响应速率(响应状态码) 响应时延 响应数据包(UDP/TCP) 缓存大小 缓存命中率 PVC视图 集群 命名空间 PV PVC PV/PVC状态 PVC使用量/使用率 PVC inodes使用量/使用率 PVC每小时/每天/每周使用率 一周后PVC使用量 Kubelet 集群 实例 运行中Kubelet/Pod/容器 实际卷/期望卷/配置错误数量 操作速率/错误率/时延 Pod启动速率/时延(99分位) 存储操作速率/错误率/时延(99分位) 控制组管理器操作速率/时延(99分位) PLEG relist速率/间隔/时延(99分位) RPC速率 请求时延(99分位) 内存/CPU使用量 Go routine数 Prometheus 集群 job instance Target同步间隔 Target数 平均拉取间隔 拉取失败 Appended Samples Head中Series数/Chunks数 查询速率/阶段时延 Prometheus Remote Write 集群 实例 url Highest Timestamp In vs. Highest Timestamp Sent Rate5m Rate in vs. succeeded or dropped 5m 当前/最大/最小/期望分片数 分片容量 挂起样本数 TSDB/远程写入当前段 样本丢弃率/失败率/重试率 入队失败重试率 工作负载 集群 命名空间 类型 工作负载 CPU/内存使用量 网络接收/发送速率 网络平均接收/发送速率 接收/发送数据包速率 丢包率(接收/发送) XGPU视图 集群 集群--XGPU设备显存使用率 集群--XGPU设备算力使用率 节点--XGPU设备显存使用率 节点--XGPU设备算力使用率 节点--XGPU设备数量 节点--XGPU设备显存分配量 GPU卡--XGPU设备显存使用率 GPU卡--XGPU设备显存分配量 GPU卡--XGPU设备显存分配率 GPU卡--XGPU设备算力使用率 GPU卡--XGPU设备数量 GPU卡--调度策略 GPU卡--不健康的XGPU设备数量 容器显存分配量 容器算力使用率 容器显存使用量 容器显存使用率
  • 方案概述 应用场景 在以下场景,使用MirrorMaker进行不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示,MirrorMaker本质上也是生产消费消息,首先从源集群中消费数据,然后将消费的数据生产到目标集群。如果您需要了解更多关于MirrorMaker的信息,请参见Mirroring data between clusters。 图1 MirrorMaker原理图
  • 名词解释 华为云Flexus云服务器X实例:Flexus云服务器X实例是新一代面向中小企业和开发者打造的柔性算力云服务器。Flexus云服务器X实例功能接近E CS , 同时还具备独有特点,例如Flexus云服务器X实例具有更灵活的vCPU内存配比、支持热变配不中断业务变更规格、支持性能模式等。 弹性云服务器 ECS:是一种云上可随时自助获取、可弹性伸缩的计算服务,可帮助您打造安全、可靠、灵活、高效的应用环境。 虚拟私有云 VPC:是用户在华为云上申请的隔离的、私密的虚拟网络环境。用户可以基于VPC构建独立的云上网络空间,配合弹性公网IP、云连接、云专线等服务实现与Internet、云内私网、跨云私网互通,帮您打造可靠、稳定、高效的专属云上网络。 弹性公网IP EIP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑,提供访问公网和被公网访问能力。
    AI
  • 安全组规则修改(可选) 该解决方案使用80端口用来访问Dify,默认全放通,请参考修改安全组规则,配置IP地址白名单。 该解决方案使用22端口用来以SSH方式远程登录云服务器,若需远程登录云服务器,请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务。 该解决方案部署成功后,环境初始化预计5-10分钟,受网络、带宽影响,部署时间会有波动部署完成之后方可正常访问。 安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。 如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。 添加安全组规则:根据业务使用需求需要开放某个TCP端口,请参考添加安全组规则添加入方向规则,打开指定的TCP端口。 修改安全组规则:安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则,来修改安全组中不合理的规则,保证云服务器等实例的网络安全。 删除安全组规则:当安全组规则入方向、出方向源地址/目的地址有变化时,或者不需要开放某个端口时,您可以参考删除安全组规则进行安全组规则删除。 登录开发平台:输入快速部署步骤10的访问地址,即可浏览Dify的开发平台。首次登录需注册管理员账号,依次填写邮箱、账号、密码。 配置大模型API key:进入系统后,首先需要配置大模型的API key,用于Dify调用大模型API的能力。单击系统右上角的设置,选择模型供应商,挑选一家大模型,例如讯飞星火,单击设置,填写对应的API key。 创建应用:接着需要创建一个应用,您可以创建空白应用或者从模板中创建。作为开始,选择空白应用。 查看API调用:您可以在编排里进行调试与预览,例如编写提示词、导入知识库等。一旦完成,可以单击左侧的访问API,查看API的调用方法。 创建密钥:在调用之前,还需要单击右上角“API密钥”创建一个密钥,用作请求鉴权。 探索应用模板 仅使用空白模板来部署Dify和直接调用大模型的API体验几乎一致,为了充分发挥Dify的能力,您可以单击页面上方的探索,尝试预制的各类应用模板。除此之外,您还可以浏览Dify官方文档获取更多详细的开发指南。
    AI
  • 快速部署 本章节主要帮助用户快速部署“快速搭建Dify-LLM应用开发平台”解决方案 表1 参数说明 参数名称 类型 是否可选 参数解释 默认值 vpc_name string 必填 虚拟私有云名称,该模板使用新建VPC,不允许重名。取值范围:1-54个字符,支持中文、英文字母、数字、_(下划线)、-(中划线)、.(点)。 dify-llm-application-development-platform-demo secgroup_name string 必填 安全组名称,该模板新建安全组,请参考安全组规则修改进行配置。取值范围:1-64个字符,支持字母、数字、中文、下划线(_)、中划线(-)、英文句号(.)。 dify-llm-application-development-platform-demo ecs_name string 必填 云服务器实例名称,不支持重名。取值范围:1-64个字符,支持中文、英文字母、数字、_(下划线)、-(中划线)、.(点)。 dify-llm-application-development-platform-demo flexus_flavor string 必填 云服务器实例规格,支持弹性云服务器 ECS及华为云Flexus 云服务器X实例。Flexus 云服务器X实例规格ID命名规则为x1.?u.?g,例如2vCPUs4GiB规格ID为x1.2u.4g,具体华为云Flexus 云服务器X实例规格请参考控制台。弹性云服务器规格名称,具体请参考官网弹性云服务器规格清单。 x1.2u.4g ecs_password string 必填 云服务器密码,长度为8-26位,密码至少必须包含大写字母、小写字母、数字和特殊字符(!@$%^-_=+[{}]:,./?)中的三种,仅支持小写字母、数字、中划线(-)、英文句号(.)。修改密码,请参考重置云服务器密码登录ECS控制台修改密码。管理员账户默认root。 空 ecs_volume_size number 必填 云服务器系统盘大小,磁盘类型默认为高IO,单位:GB,取值范围为40-1,024,不支持缩盘。 100 bandwidth_size number 必填 弹性公网带宽大小,该模板计费方式为按流量计费。单位:Mbit/s,取值范围:1-300Mbit/s。 300 charging_mode string 必填 计费模式,默认自动扣费,取值为prePaid(包年包月)或postPaid(按需计费)。 postPaid charge_period_unit string 必填 计费周期单位,当计费方式设置为prePaid,此参数是必填项。有效值为:month(包月)和year(包年)。 month charge_period number 必填 计费周期,当计费模式设置为prePaid,此参数是必填项。可选值为:1-3(year)、1-9(month)。 1 登录华为云解决方案实践,选择“快速搭建Dify-LLM应用开发平台”,单击“一键部署”,跳转至解决方案创建资源栈界面。 图1 解决方案实施库 在选择模板界面中,单击“下一步”。 图2 选择模板 在配置参数界面中,参考表1 参数填写说明完成自定义参数填写,单击“下一步”。 图3 配置参数 在资源设置界面中,在权限委托下拉框中选择“rf_admin_trust”委托(可不选),单击“下一步”。 图4 资源栈设置 在配置确认界面中,单击“创建执行计划”。 图5 配置确认 在弹出的创建执行计划框中,自定义填写执行计划名称,单击“确定”。 图6 创建执行计划 单击“部署”,并且在弹出的执行计划确认框中单击“执行”。 图7 执行计划 图8 执行计划确认 (可选)如果计费模式选择“包年包月”,在余额不充足的情况下(所需总费用请参考表2)请及时登录费用中心,手动完成待支付订单的费用支付。 待“事件”中出现“Apply required resource success”,表示该解决方案已经部署完成。 图9 部署完成 刷新页面,在“输出”中查看Dify-LLM应用开发平台访问说明。堆栈部署成功后,Dify应用搭建脚本开始执行,耐心等待5-10分钟左右(受网络波动影响)。 图10 说明 父主题: 实施步骤
    AI
共100000条