云服务器内容精选

  • 创建数据连接 参考访问 DataArts Studio 实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在管理中心页面,单击“数据连接”,进入数据连接页面并单击“创建数据连接”。 图1 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“RDS”,并参见表1配置相关参数。 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源。 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 图2 RDS连接配置参数 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 IP或 域名 是 关系型数据库数据源的访问地址,可填写为IP或域名。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 如果为RDS或 GaussDB 等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明: 仅GaussDB数据源支持多域名的方式, 多个域名 之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源,可以通过数据库管理员获取相应的访问地址。 端口 是 关系型数据库数据源的访问端口。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明: 仅GaussDB数据源支持多域名的方式,多个域名之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源,可以通过数据库管理员获取相应的访问地址。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 RDS类型数据源为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。 CDM 集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和RDS网络互通才可以成功创建RDS连接,为确保两者网络互通,CDM集群必须和RDS处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 SSL加密 否 支持对RDS服务启用SSL加密传输。 数据源驱动配置 驱动程序名称 是 驱动程序名称: com.mysql.jdbc.Driver:连接RDS for MySQL或MySQL数据源时,选择此驱动程序名称。 org.postgresql.Driver:连接RDS for PostgreSQL或PostgreSQL数据源时,选择此驱动程序名称。 com.microsoft.sqlserver.jdbc.SQLServerDriver: 连接RDS for SQL Server数据源时,选择此驱动名称。 dm.jdbc.driver.DmDriver:连接达梦数据库 DM数据源时,选择此驱动程序名称。 com.huawei.opengauss.jdbc.Driver:连接GaussDB数据源时,选择此驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5.1.48版本。 PostgreSQL驱动:获取地址https://mvnrepository.com/artifact/org.postgresql/postgresql,建议42.3.4版本。 SQL Server驱动:获取地址https://learn.microsoft.com/zh-cn/sql/connect/jdbc/download-microsoft-jdbc-driver-for-sql-server?view=sql-server-ver16,建议8.4.1版本。 达梦数据库驱动: DM JDBC驱动jar包请从DM安装目录/dmdbms/drivers/jdbc中获取DmJdbcDriver18.jar。 GaussDB驱动:请在GaussDB官方文档中搜索“JDBC包、驱动类和环境类”,然后选择实例对应版本的资料,参考文档获取驱动包。 说明: 驱动文件所在的OBS路径中不能包含中文。 如果需要更新驱动文件,则需要先在数据集成页面重启CDM集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败,请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQ L实例 的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上,具体操作请参见《关系型数据库用户指南》。 local_infile字符集 否 “使用本地API”为是时,呈现此参数。MySQL通过local_infile导入数据时,可配置编码格式。默认utf8。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。默认1000。 单次提交行数 否 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。默认10000。 单次写入行数 否 可选参数,指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。默认100。 连接属性 否 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTimeout=360000与socketTimeout=360000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位ms),避免超时导致失败。 tinyInt1isBit=false或mysql.bool.type.transform=false:MySQL默认开启配置tinyInt1isBit=true,将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,会将1或0读取为true或false从而导致迁移失败,此时可关闭配置避免迁移报错。 useCursorFetch=false:CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 allowPublicKeyRetrieval=true:MySQL默认关闭允许公钥检索机制,因此连接MySQL数据源时,如果TLS不可用、使用RSA公钥加密时,可能导致连接报错。此时可打开公钥检索机制,避免连接报错。 引用符号 否 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。默认为"。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。
  • 前提条件 在创建数据连接前,请确保您已创建所要连接的 数据湖 (如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建 MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,集群的“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”,并且集群中包含所需要的组件。 在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、E CS ),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见创建DataArts Studio数据连接。 对于Serverless服务(例如 DLI ),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 离线处理集成作业不支持在企业模式下运行。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置,也需要同步到另一套MRS集群上。
  • 数据源简介 表2 数据源简介 数据源类型 简介 数据仓库 服务(DWS) 华为云DWS是基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索 (DLI) 华为云DLI是完全兼容Apache Spark和Apache Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。 MapReduce服务 (MRS HBase) HBase是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储,并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析。 MapReduce服务(MRS Hive) Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HiveQL,它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析,快速将线下Hadoop大数据平台(CDH、HDP等)迁移上云,业务迁移 “0”中断,业务代码 “0”改动。 MapReduce服务(MRS Kafka) 华为云MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务(MRS Spark) Spark是一个开源的并行数据处理框架,能够帮助用户简单的开发快速、统一的大数据应用,对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop,Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 MapReduce服务(MRS Clickhouse) ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是极致压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域,非常适用于商业智能化应用场景。 MapReduce服务(MRS Impala) Impala直接对存储在HDFS、HBase或 对象存储服务 (OBS)中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 MapReduce服务(MRS Ranger) Ranger提供一个集中式安全管理框架,提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 MapReduce服务(MRS Hudi) Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的流原语。 Hudi的元数据存放在Hive中,操作通过Spark进行。 MapReduce服务(MRS Presto) Presto是一个开源的用户交互式分析查询的SQL查询引擎,用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统(HDFS),Hive,HBase,Cassandra,关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源,执行跨数据源的数据分析。 MapReduce服务(MRS Doris) Doris是一个高性能、实时的分析型数据库,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。因此,Apache Doris能够较好的满足报表分析、即时查询、统一数仓构建、数据湖联邦查询加速等使用场景。 云数据库 RDS 华为云RDS是一种基于 云计算平台 的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意,DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 MySQL MySQL是目前最受欢迎的开源数据库之一,其性能卓越,架构成熟稳定,支持流行应用程序,适用于多领域多行业,支持各种WEB应用,成本低,中小企业首选。 ORACLE ORACLE数据库系统是以 分布式数据库 为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。 ORACLE数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管理功能;作为一个关系数据库,它是一个完备关系的产品;作为分布式数据库它实现了分布式处理功能。 实时数据接入 DIS 使用实时数据接入通道,可实现跨空间作业调度。若使用数据通道连接,可以向其他账号的DIS通道发送消息;若不使用,仅能给本账号下所有region的通道发送消息。 Rest Client 通过Rest Client执行一个RESTful请求。目前支持 IAM Token、用户名密码两种认证鉴权方式的RESTful请求。 主机连接 通过主机连接,用户可以在DataArts Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息,当主机的连接信息有变化时,只需在主机连接管理中编辑修改,而不需要到具体的脚本或作业中逐一修改。
  • 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,集群的“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”,并且集群中包含所需要的组件。 在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见创建DataArts Studio数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 离线处理集成作业不支持在企业模式下运行。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置,也需要同步到另一套MRS集群上。
  • 参考 为什么在创建数据连接的界面上MRS Hive集群不显示? 出现该问题的可能原因有: 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群作为网络代理,与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 为什么Hive数据连接突然无法获取数据库或表的信息? 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。
  • DataArts Studio支持连接哪些数据源? DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务,也支持对接如MySQL、Oracle等传统数据库,支持程度各有不同,详情请参见DataArts Studio支持的数据源章节。 DataArts Studio对接数据源,即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据集成数据连接相互独立,使用场景各有不同。 管理中心的数据连接用于对接数据湖底座,DataArts Studio基于数据湖底座,提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使用,用于将源端原始数据集成到目的端数据湖底座中。 父主题: 管理中心
  • 准备依赖资源 在创建多活实例前您需要提前准备相关依赖资源,包括VPC、子网和安全组。每个多活实例都部署在某个虚拟私有云(VPC)中,并绑定具体的子网和安全组,通过这样的方式为MAS提供一个隔离的、用户自主配置和管理的虚拟网络环境以及安全保护策略。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网,若需要在已有VPC上创建和使用新的子网,请参考为虚拟私有云创建新的子网。 创建安全组的操作指导请参考创建安全组,为安全组添加规则的操作指导请参考添加安全组规则。
  • 解决方法 在用户或业务用户详情页面中,查看用户所拥有的权限。 如果是System Administrator Profile,默认是30分钟,无法修改。 如果是其他权限,请执行2。 通过所分配Profile权限的“访问凭证时长”来控制session有效期。访问凭证与刷新凭证必须同时为默认或者自定义。 用户(即平台用户,AstroZero的开发者账号,用来管理应用和业务用户) 一般情况下,只有具备“System Administrator Profile”权限的管理员用户,才可修改平台用户权限的“访问凭证时长”。平台用户只能查看,不能修改自己权限的“访问凭证时长”参数值。 图1 Profile权限编辑页面 业务用户:根据业务用户详情页“权限集”下,第一个Profile权限的“访问凭证时长”,来控制session有效期。如果“权限集”下未配置Profile权限,则使用“Portal User Profile”权限的“访问凭证时长”。 图2 业务用户详情页
  • 开启日志监控 AstroZero提供日志跟踪功能,用户在AstroZero中进行操作时,可开启日志跟踪来下载和后台交互产生的日志。 参考登录管理中心中操作,登录AstroZero管理中心。 单击页面右下方的,进入开启日志跟踪页面。 单击,可以开启十分钟内的AstroZero的后台日志追踪。 如果需要停止跟踪,可单击,将停止追踪且不会获取日志文件。 图3 开启日志跟踪 表2 日志跟踪参数说明 参数 说明 日志级别 日志级别,取值说明如下: 会话级:只打印当前会话的日志。 租户级:打印租户所有会话的日志。 日志类型 日志类型,取值说明如下: 业务日志:输出业务相关的跟踪日志。 完整日志:输出业务日志,以及数据库、中间件等的详细日志,主要用于AstroZero问题定位。 下载日志文件。 单击下载,可下载日志文件。下载后会自动停止跟踪,日志格式为“时间|操作ID|业务部件|动作描述”。 单击,可从新窗口打开日志跟踪页面。 单击,可最小化显示日志跟踪页面。 单击最小化图标后,日志跟踪页面将会被隐藏。在AstroZero管理中心页面的右下角,可以看到日志跟踪剩余时间。单击该时间,将重新弹出日志跟踪页面。 图4 日志跟踪时间
  • 数据调试 AstroZero管理中心提供了前端调试功能,可以执行部分SQL命令收集信息,便于定位问题。该功能类似MySQL命令行,可对数据进行操作。目前只支持查询数据,获取在查询过程中的执行计划、重建索引、查看索引、清理缓存、统计表记录数量、查看表中元数据、创建、删除、重建、搜索引擎索引,以及查看搜索引擎的索引信息等。 参考登录管理中心中操作,登录AstroZero管理中心。 单击页面右下方的,进入数据调试控制台页面。 控制台页面如图5所示,界面分为多个区域,展示不同的内容。 区域1:数据调试控制台支持的所有操作。 对象管理:关于对象表的操作。 缓存管理:对AstroZero系统的缓存进行管理,主要是清理所有缓存或清理某个特定缓存的命令。 任务查询:对AstroZero的一些历史任务或表数据统计的可用命令展示。 搜索管理:展示Elasticsearch中的可搜索表或字段。 区域2:根据区域1的操作从而展示对应的内容。 单击区域1的“对象管理”,则会在区域2中展示该用户有权限看到的所有表。 单击区域1“缓存管理”,则会在区域2中展示管理缓存相关的命令。 单击区域1“任务查询”,则会在区域2中展示任务管理相关的命令。 单击区域1“搜索管理”,则会在区域2中展示搜索管理相关的命令,支持根据应用进行过滤,默认显示“全部”,即搜索所有应用数据。 区域3:展示命令的说明或提示文字。 双击区域2展示的命令时,会在该区域展示该命令的简单说明或展示一些提示文字。 区域4:操作按钮区域。 单击“执行”(快捷键为Ctrl + Enter),可执行用户在区域5输入的命令。或者选中区域5输入的某个命令,单击“执行选择项”进行执行。命令执行完成后,单击“清除”,可清除执行结果的展示。 区域5:命令输入区,用户可以在该区域进行表数据查询,支持多种表操作的SQL语句。 例如:在单击区域1的“对象管理”时,会在区域2展示所有对象表,单击某个表,便可复制该表名。用户在区域5输入命令时,可快速复制粘贴要查询的表名。且对于区域2展示的所有命令,可通过双击鼠标左键,可直接将命令展示在该区域,然后单击区域4“执行”,执行该命令,减少了用户手动输入命令的动作。 区域6:展示相关命令的执行结果。 区域7:展示系统的发行版本和发行时间。 区域8:记录用户在区域5成功执行的所有命令。 单击该区域的命令,可将选中的命令填充到区域5,单击区域4的“执行”按钮,便可执行该历史命令。 图5 控制台 根据 “支持SQL语句列表”提示,输入SQL查询语句,执行查询。 对象管理中除了系统预置的标准对象、用户定制的自定义对象、视图对象和聚合对象,还有一种系统对象,即AstroZero各项系统功能模块所使用到的对象,如服务编排、脚本。此类对象一般无需关注,若需要定位问题可在数据调试控制台使用SQL语句进行查询。 图6 执行SQL语句查询
  • 租户看板 告警统计 统计当前环境下,所有的告警信息。 页面访问统计 统计当前环境下,所有页面的访问信息。 API统计 查看API的调用信息,详情请参见表1。 图1 看板API调用统计 表1 API调用统计页面参数说明 区域 参数 参数说明 API性能统计 统计周期 统计的周期。 访问量 统计周期内的所有访问量。 平均时长 统计周期内所有访问的平均响应时长。 异常访问量 统计周期内所有响应状态码为4XX和5XX的访问量。 异常访问平均时长 统计周期内所有响应状态码为4XX和5XX的平均响应时长。 超时(3s)-访问量 统计周期内所有响应时长超过3秒的访问量。 超时(3s)-平均时长 统计周期内所有响应时长超过3秒的平均响应时长。 Apdex性能指数 Apdex(Application Performance Index)表示用户对应用性能满意度的量化值。其计算公式如下: 设定接口响应时延0~1秒为用户满意区间,1~3秒为容忍区间,大于3秒为不可接受区间,此外所有失败的请求均为不可接受的请求,则Apdex=(满意请求数+0.5*可容忍请求数)/总请求数。 响应状态码分布 以饼图的样式统计响应状态码情况,统计数据包括请求成功数、客户端失败数和服务端失败数。 访问性能分布 以饼图的样式统计访问性能情况,统计数据为0~1秒、1~3秒和大于3秒。 访问趋势 请求总数&平均响应时长 请求总数:该账号下应用和BO中,发布的API接口请求总数。 平均响应时长:各时间段的接口平均响应时长。 请求状态分布 各时间段的请求状态分布,如请求成功数、客户端失败数和服务端失败数。 请求时长分布 各时间段的请求时长分布,统计的请求时长为0~1秒、1~3秒和大于3秒。 Top20应用/Top20接口 应用名称(Top20应用的统计维度) 请求的具体应用。 请求接口(Top20接口的统计维度) 请求的具体接口。 调用次数 统计周期内,调用接口的总次数。 客户端失败数 统计周期内,调用接口的客户端失败数。 服务端失败数 统计周期内,调用接口的服务端失败数。 成功率 统计周期内,API接口请求成功率,取值为API接口请求成功数/API接口请求总数。 API接口请求成功数:该账号的应用和BO中,发布的API接口请求成功次数。 API接口请求总数:该账号的应用和BO中,发布的API接口请求总数。 请求TPM TPM(Transaction Per Minute),表示每秒处理的请求数。 平均时延(ms) 统计API的平均时延。 单位:毫秒(ms) P90时延(ms) 响应时延从小到大排列,顺序处于90%位置的值即为P99值。 单位:毫秒(ms) P99时延(ms) 响应时延从小到大排列,顺序处于99%位置的值即为P99值。 单位:毫秒(ms) 若在P99或P90时间内,调用接口还没返回结果,大概率可认为这次请求属于慢请求。 部署统计 查看租户所有的部署统计信息。 图2 租户看板部署统计
  • 操作步骤 登录pEDA-Schematic并进入管理中心。 在管理中心页面,单击“审计日志”页签。 在“审计日志”页面,可查看当前租户下的审计日志列表。 图1 审计日志 可根据实际业务需求,设置审计日志查询条件进行查询,支持“时间范围”和查询条件关键字组合查询。 时间范围:可在页面左上角选择查询“最近1小时”、“最近3小时”、“最近24小时”和“最近7天”的审计日志。 查询条件关键字:单击列表上方的查询条件下拉框,选择查询条件后,手动输入具体查询关键字。 可选择按“事件名称”、“操作用户”、“资源名称”和“资源ID”查询条件进行查询。
  • 数据调试 AstroZero管理中心提供了前端调试功能,可以执行部分SQL命令收集信息,便于定位问题。该功能类似MySQL命令行,可对数据进行操作。目前只支持查询数据,获取在查询过程中的执行计划、重建索引、查看索引、清理缓存、统计表记录数量、查看表中元数据、创建、删除、重建、搜索引擎索引,以及查看搜索引擎的索引信息等。 参考如何登录经典版环境配置中操作,登录AstroZero管理中心。 单击页面右下方的,进入数据调试控制台页面。 控制台页面如图5所示,界面分为多个区域,展示不同的内容。 区域1:数据调试控制台支持的所有操作。 对象管理:关于对象表的操作。 缓存管理:对AstroZero系统的缓存进行管理,主要是清理所有缓存或清理某个特定缓存的命令。 任务查询:对AstroZero的一些历史任务或表数据统计的可用命令展示。 搜索管理:展示Elasticsearch中的可搜索表或字段。 区域2:根据区域1的操作从而展示对应的内容。 单击区域1的“对象管理”,则会在区域2中展示该用户有权限看到的所有表。 单击区域1“缓存管理”,则会在区域2中展示管理缓存相关的命令。 单击区域1“任务查询”,则会在区域2中展示任务管理相关的命令。 单击区域1“搜索管理”,则会在区域2中展示搜索管理相关的命令,支持根据应用进行过滤,默认显示“全部”,即搜索所有应用数据。 区域3:展示命令的说明或提示文字。 双击区域2展示的命令时,会在该区域展示该命令的简单说明或展示一些提示文字。 区域4:操作按钮区域。 单击“执行”(快捷键为Ctrl + Enter),可执行用户在区域5输入的命令。或者选中区域5输入的某个命令,单击“执行选择项”进行执行。命令执行完成后,单击“清除”,可清除执行结果的展示。 区域5:命令输入区,用户可以在该区域进行表数据查询,支持多种表操作的SQL语句。 例如:在单击区域1的“对象管理”时,会在区域2展示所有对象表,单击某个表,便可复制该表名。用户在区域5输入命令时,可快速复制粘贴要查询的表名。且对于区域2展示的所有命令,可通过双击鼠标左键,可直接将命令展示在该区域,然后单击区域4“执行”,执行该命令,减少了用户手动输入命令的动作。 区域6:展示相关命令的执行结果。 区域7:展示系统的发行版本和发行时间。 区域8:记录用户在区域5成功执行的所有命令。 单击该区域的命令,可将选中的命令填充到区域5,单击区域4的“执行”按钮,便可执行该历史命令。 图5 控制台 根据 “支持SQL语句列表”提示,输入SQL查询语句,执行查询。 对象管理中除了系统预置的标准对象、用户定制的自定义对象、视图对象和聚合对象,还有一种系统对象,即AstroZero各项系统功能模块所使用到的对象,如服务编排、脚本。此类对象一般无需关注,若需要定位问题可在数据调试控制台使用SQL语句进行查询。 图6 执行SQL语句查询
  • 开启日志监控 AstroZero提供日志跟踪功能,用户在AstroZero中进行操作时,可开启日志跟踪来下载和后台交互产生的日志。 参考如何登录经典版环境配置中操作,登录AstroZero管理中心。 单击页面右下方的,进入开启日志跟踪页面。 单击,可以开启十分钟内的AstroZero的后台日志追踪。 如果需要停止跟踪,可单击,将停止追踪且不会获取日志文件。 图3 开启日志跟踪 表2 日志跟踪参数说明 参数 说明 日志级别 日志级别,取值说明如下: 会话级:只打印当前会话的日志。 租户级:打印租户所有会话的日志。 日志类型 日志类型,取值说明如下: 业务日志:输出业务相关的跟踪日志。 完整日志:输出业务日志,以及数据库、中间件等的详细日志,主要用于AstroZero问题定位。 下载日志文件。 单击下载,可下载日志文件。下载后会自动停止跟踪,日志格式为“时间|操作ID|业务部件|动作描述”。 单击,可从新窗口打开日志跟踪页面。 单击,可最小化显示日志跟踪页面。 单击最小化图标后,日志跟踪页面将会被隐藏。在AstroZero管理中心页面的右下角,可以看到日志跟踪剩余时间。单击该时间,将重新弹出日志跟踪页面。 图4 日志跟踪时间
  • 租户看板 告警统计 统计当前环境下,所有的告警信息。 页面访问统计 统计当前环境下,所有页面的访问信息。 API统计 查看API的调用信息,详情请参见表1。 图1 看板API调用统计 表1 API调用统计页面参数说明 区域 参数 参数说明 API性能统计 统计周期 统计的周期。 访问量 统计周期内的所有访问量。 平均时长 统计周期内所有访问的平均响应时长。 异常访问量 统计周期内所有响应状态码为4XX和5XX的访问量。 异常访问平均时长 统计周期内所有响应状态码为4XX和5XX的平均响应时长。 超时(3s)-访问量 统计周期内所有响应时长超过3秒的访问量。 超时(3s)-平均时长 统计周期内所有响应时长超过3秒的平均响应时长。 Apdex性能指数 Apdex(Application Performance Index)表示用户对应用性能满意度的量化值。其计算公式如下: 设定接口响应时延0~1秒为用户满意区间,1~3秒为容忍区间,大于3秒为不可接受区间,此外所有失败的请求均为不可接受的请求,则Apdex=(满意请求数+0.5*可容忍请求数)/总请求数。 响应状态码分布 以饼图的样式统计响应状态码情况,统计数据包括请求成功数、客户端失败数和服务端失败数。 访问性能分布 以饼图的样式统计访问性能情况,统计数据为0~1秒、1~3秒和大于3秒。 访问趋势 请求总数&平均响应时长 请求总数:该账号下应用和BO中,发布的API接口请求总数。 平均响应时长:各时间段的接口平均响应时长。 请求状态分布 各时间段的请求状态分布,如请求成功数、客户端失败数和服务端失败数。 请求时长分布 各时间段的请求时长分布,统计的请求时长为0~1秒、1~3秒和大于3秒。 Top20应用/Top20接口 应用名称(Top20应用的统计维度) 请求的具体应用。 请求接口(Top20接口的统计维度) 请求的具体接口。 调用次数 统计周期内,调用接口的总次数。 客户端失败数 统计周期内,调用接口的客户端失败数。 服务端失败数 统计周期内,调用接口的服务端失败数。 成功率 统计周期内,API接口请求成功率,取值为API接口请求成功数/API接口请求总数。 API接口请求成功数:该账号的应用和BO中,发布的API接口请求成功次数。 API接口请求总数:该账号的应用和BO中,发布的API接口请求总数。 请求TPM TPM(Transaction Per Minute),表示每秒处理的请求数。 平均时延(ms) 统计API的平均时延。 单位:毫秒(ms) P90时延(ms) 响应时延从小到大排列,顺序处于90%位置的值即为P99值。 单位:毫秒(ms) P99时延(ms) 响应时延从小到大排列,顺序处于99%位置的值即为P99值。 单位:毫秒(ms) 若在P99或P90时间内,调用接口还没返回结果,大概率可认为这次请求属于慢请求。 部署统计 查看租户所有的部署统计信息。 图2 租户看板部署统计