云服务器内容精选

  • 背景信息 当用户连接数达到上限后,无法建立新的连接。因此,当数据库管理员发现某用户无法连接到数据库时,需要查看是否连接数达到了上限。控制数据库连接的主要以下几种选项。 全局的最大连接数:由运行参数max_connections指定。 某用户的连接数:在创建用户时由CREATE ROLE命令的CONNECTION LIMIT connlimit子句直接设定,也可以在设定以后用ALTER ROLE的CONNECTION LIMIT connlimit子句修改。 某数据库的连接数:在创建数据库时,由CREATE DATABASE的CONNECTION LIMIT connlimit参数指定。
  • 背景信息 当用户连接数达到上限后,无法建立新的连接。因此,当数据库管理员发现某用户无法连接到数据库时,需要查看是否连接数达到了上限。控制数据库连接的主要以下几种选项。 全局的最大连接数:由运行参数max_connections指定。 某用户的连接数:在创建用户时由CREATE ROLE命令的CONNECTION LIMIT connlimit子句直接设定,也可以在设定以后用ALTER ROLE的CONNECTION LIMIT connlimit子句修改。 某数据库的连接数:在创建数据库时,由CREATE DATABASE的CONNECTION LIMIT connlimit参数指定。 预留连接供gs_clean使用:需要预留连接给gs_clean工具进行残留事务清理,以免由于残留事务长期阻塞系统正常运行,对于有n个CN的集群环境,那么需要至少预留n个连接给各个CN上的gs_clean进行残留事务清理。
  • 操作步骤 参考连接数据库,连接数据库。 查看全局会话连接数限制。 1 2 3 4 5 openGauss=# SHOW max_connections; max_connections ----------------- 800 (1 row) 其中800是最大会话连接数。 查看已使用的会话连接数。 具体命令请参见表1。 除了创建的时候用双引号引起的数据库和用户名称外,以下命令中用到的数据库名称和用户名称,其中包含的英文字母必须使用小写。 表1 查看会话连接数 描述 命令 查看指定用户的会话连接数上限。 执行如下命令查看连接到指定用户omm的会话连接数上限。其中-1表示没有对用户omm设置连接数的限制。 1 2 3 4 5 openGauss=# SELECT ROLNAME,ROLCONNLIMIT FROM PG_ROLES WHERE ROLNAME='omm'; rolname | rolconnlimit ----------+-------------- omm | -1 (1 row) 查看指定用户已使用的会话连接数。 执行如下命令查看指定用户omm已使用的会话连接数。其中,1表示omm已使用的会话连接数。 1 2 3 4 5 6 openGauss=# SELECT COUNT(*) FROM dv_sessions WHERE USERNAME='omm'; count ------- 1 (1 row) 查看指定数据库的会话连接数上限。 执行如下命令查看连接到指定数据库postgres的会话连接数上限。其中-1表示没有对数据库postgres设置连接数的限制。 1 2 3 4 5 6 openGauss=# SELECT DATNAME,DATCONNLIMIT FROM PG_DATABASE WHERE DATNAME='postgres'; datname | datconnlimit ----------+-------------- postgres | -1 (1 row) 查看指定数据库已使用的会话连接数。 执行如下命令查看指定数据库postgres上已使用的会话连接数。其中,1表示数据库postgres上已使用的会话连接数。 1 2 3 4 5 openGauss=# SELECT COUNT(*) FROM PG_STAT_ACTIVITY WHERE DATNAME='postgres'; count ------- 1 (1 row) 查看所有用户已使用会话连接数。 执行如下命令查看所有用户已使用的会话连接数。 1 2 3 4 5 openGauss=# SELECT COUNT(*) FROM dv_sessions; count ------- 10 (1 row)
  • 相关操作 查看溯源结果:在数据水印溯源页面,找到需要查看溯源结果的任务,单击对应任务操作栏中的“查看结果”,即可查看溯源结果。注意,只有溯源成功的任务才会显示溯源信息。 图4 溯源信息 删除任务:在数据水印溯源页面,单击对应任务操作栏中的“删除”,即可删除任务。当需要批量删除时,可以在勾选任务后,在任务列表上方单击“批量删除”。 运行状态为正在“执行中”的任务不允许被删除。 删除操作无法撤销,请谨慎操作。
  • 创建数据水印溯源任务 在 DataArts Studio 控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“数据水印溯源”,进入数据水印溯源页面,在页面上方单击“新建”。 图2 创建数据水印溯源任务 在弹出的创建任务页面输入信息,参数配置请参考表1。 图3 创建数据水印溯源任务 表1 水印溯源任务参数描述 参数名 参数描述 任务名称 嵌入水印任务的名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1~64个字符。 描述 为更好地识别嵌入水印任务,此处加以描述信息。长度不能超过1024个字符。 源文件 得到泄露的数据文件后,利用其生成 CS V格式文件,注意文件大小不超过20MB。 字段分隔符 根据上传的CSV文件,下拉选择分隔符,支持四种“,”、“Tab”、“|”、“;”。默认选择“,”。 单击“运行”,完成创建数据水印溯源任务。
  • 前提条件 需要获取待纳管数据库的管理员账号及密码。 需要具备AppStage服务运维岗位权限或数据库DBA角色权限,权限申请操作请参见申请权限。 已设置执行机。 同VPC执行机:将待纳管的数据库所在VPC下的主机设置为执行机。 跨VPC执行机:将待纳管数据库的自有服务下所属其他VPC的主机设置为执行机。 数据库纳管时系统会优先使用该数据库同VPC下的执行机,如果同VPC下没有执行机,随机选择服务关联的其他VPC下的执行机。跨VPC时,需保证执行机所在VPC与待接入运维中心的数据库所在VPC网络互通。请参见对等连接和安全组,连通服务关联的所有VPC,放通数据库和服务下所有执行机的安全组。
  • 前提条件 计算节点处于运行中,且所在空间信息的“认证状态”为“已认证”。 建议使用者提前了解 MapReduce服务 MRS Hive)集群。 “连接器类型”选择MapReduce服务(MRS Hive)时,选择的MRS集群需与当前计算节点部署CCE在同一VPC。填写的用户名,需具有Hive的读写权限。“集群名称”为用户所需要使用的MRS Hive数据源所在的MRS集群。“用户名”为MRS集群中拥有Hive权限的集群用户。
  • 创建连接器 用户登录 TICS 控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”。 在“计算节点管理”页面,查找需要发布数据的计算节点名称,单击“计算节点名称”进入计算节点详情页。 图1 选择计算节点 在“计算节点详情”页,单击“前往计算节点”,在登录页正确输入部署计算节点时设置的“登录用户名”和“密码”。 图2 前往计算节点 登录成功后,进入到计算节点界面,选择左侧导航栏中“连接器管理”,单击“创建”,在弹出的界面配置创建连接器的参数,配置完成后单击“确定”。 测试功能为数据源连通性及密码正确性的检查测试。 图3 创建连接器(以RDS服务为例) 表1 参数说明 参数名 描述 连接器类型 “连接器类型”选择Hive连接时,需要选择Hive版本,当前仅支持MRS2.x和MRS3.x版本,选择的MRS集群需与当前计算节点部署CCE或IEF(非云上IEF节点不支持接入Hive)在同一VPC。“用户名”为MRS集群中拥有Hive权限的集群用户,“用户认证凭据”需要上传对应用户的认证凭据,请在MapReduce服务的下载用户认证文件中获取。 “连接器类型”选择RDS服务时,所选择的RDS服务实例需与计算节点在同一VPC下,且端口开放。填写的用户名,需具有数据库的读写权限(参考修改权限)。“密码”为该用户登录RDS实例的密码。 “连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性,“驱动文件”需与目标MySQL数据库版本一致。驱动类名com.mysql.cj.jdbc.Driver,仅支持mysql-connector-java-5.x以后的版本,驱动文件请在Mysql驱动下载地址中获取。 “连接器类型” 选择DWS连接时,填写的用户名,需具有数据库的读写权限(参考权限管理)。“密码”为该用户登录DWS实例的密码。 “连接器类型” 选择ORACLE连接时,需保证计算节点与数据库的连通性,当前仅支持ORACLE 12c和19c版本。驱动文件需与目标ORACLE数据库版本一致,请在ORACLE驱动下载地址中获取。 “连接器类型” 选择API连接时,需保证计算节点与api接口的连通性,当前仅支持基础认证方式。 连接器名称 根据实际情况设置即可。 数据库版本 “连接器类型”选择MySql和ORACLE时,呈现此参数。根据实际情况设置即可。 数据库名称 “连接器类型”选择ORACLE时,呈现此参数。根据实际情况设置即可。 数据库服务器 “连接器类型”选择ORACLE时,呈现此参数。用户根据实际情况设置。 端口 “连接器类型”选择ORACLE时,呈现此参数。用户根据实际情况设置。 实例名称 “连接器类型”选择RDS或DWS服务时,呈现此参数。下拉选择实例即可。 数据库 “连接器类型”选择DWS服务时,呈现此参数。可手动输入DWS服务里面购买的数据库名称。 用户名 用户根据实际情况设置。 密码 用户根据实际情况设置。 驱动类名 “连接器类型”选择MySql和ORACLE时,呈现此参数。根据实际情况设置,注意驱动类名com.mysql.cj.jdbc.Driver仅支持mysql-connector-java-5.x以后的版本。 JDBC URL “连接器类型”选择MySql时,呈现此参数。JDBC访问端口。取值样例:198.0.0.1:3306。 驱动文件 “连接器类型”选择MySql和ORACLE时,呈现此参数。JDBC驱动。 其他属性 “连接器类型”选择MySql时,呈现此参数。用户根据实际情况设置任务所需的Key和Value。
  • URI GET https://{Endpoint}/v3/{project_id}/instances/{instance_id}/databases 表1 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的项目ID。 获取方法请参见获取项目ID。 instance_id 是 String 实例ID。 offset 否 Integer 分页符。从第一条数据偏移offset页数据后开始查询,默认为0(偏移0页数据,表示从第一条数据开始查询),必须为数字,不能为负数。例如:该参数指定为1,limit指定为10,则只展示第11-20条数据。 limit 否 Integer 每页显示的条目数量,取值范围[1, 100],默认10。
  • 响应示例 查询数据库列表成功。 { "databases": [ { "name": "gaussdb_test", "owner": "root", "size": "25 MB", "datctype": "en_US.UTF-8", "character_set": "UTF8", "collate_set": "en_US.UTF-8", "compatibility_type": " GaussDB " }, { "name": "gaussdb_test1", "owner": "root", "size": "25 MB", "datctype": "en_US.UTF-8", "character_set": "UTF8", "collate_set": "en_US.UTF-8", "compatibility_type": "GaussDB" }, { "name": "gaussdb_test2", "owner": "root", "size": "25 MB", "datctype": "en_US.UTF-8", "character_set": "UTF8", "collate_set": "en_US.UTF-8", "compatibility_type": "GaussDB" } ], "total_count": 3 }
  • 响应参数 表2 参数说明 参数 参数类型 描述 databases Array of objects 列表中每个元素表示一个数据库。详情参见表3。 total_count Integer 总记录数。 表3 databases字段数据结构说明 参数 参数类型 描述 name String 数据库名称。 owner String 数据库所属用户。 character_set String 数据库使用的字符集,例如UTF8。 collate_set String 数据库排序集,例如en_US.UTF-8等。 size String 数据库大小,单位MB。 datctype String 数据库使用的字符分类,例如en_US.UTF-8等。 compatibility_type String 数据库兼容的类型,如GaussDB,M。
  • 接口约束 实例在创建、变更规格、修改端口、异常或冻结状态下不能执行该操作。 除RDS界面和API以外的其他方式创建的数据库和账号,如果创建的数据库名和账号名不满足数据库命名规则(参见表2)和账号命名规则(参见表2),例如包含中文或不支持的特殊字符,那么该数据库和账号不支持RDS界面或API的数据库管理和账号管理功能。 如果源库的数据库名和账号名不满足数据库命名规则(参见表2)和账号命名规则(参见表2),迁移到目标库RDS for MySQL后,该数据库和账号也不支持RDS界面或API的数据库管理和账号管理功能。
  • 相关操作 编辑数据连接:在数据连接页面的连接列表中,找到所需编辑的连接,然后单击“编辑”。根据需要修改连接参数,参数描述可参考表1。 编辑时如果不涉及修改密码,可不填写此项,系统会自动带入上次连接创建时的密码。 完成修改后,单击“测试”测试数据连接是否可以正常连接,如果可以正常连接,单击“保存”。如果测试连接无法连通,数据连接将无法创建,请根据错误提示重新修改连接参数后再进行重试。 删除数据连接:在数据连接页面的连接列表中,找到所需删除的连接,然后单击“删除”。在删除确认对话框中,了解删除连接的影响后,若要删除,单击“确定”。 如果待删除的连接已被引用,则不可直接删除。删除前需要根据删除提示窗口中的数据连接引用列表,到各组件中解除对该连接的引用,然后再尝试重新删除。 若删除数据连接,此数据连接下的数据表信息也会被删除,请谨慎操作。
  • 创建数据连接 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在管理中心页面,单击“数据连接”,进入数据连接页面并单击“创建数据连接”。 图1 创建数据连接 在创建连接页面中,选择“数据连接类型”,并参见表1配置相关参数。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的 数据湖 服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见新建数据连接。 对于Serverless服务(例如 DLI ),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 表1 数据连接 数据连接类型 参数说明 DWS 请参见配置DWS数据连接。 DLI 请参见配置DLI数据连接。 MRS Hive 请参见配置MRS Hive数据连接。 MRS HBase 请参见配置MRS HBase数据连接。 MRS Kafka 请参见配置MRS Kafka数据连接。 MRS Spark 请参见配置MRS Spark数据连接。 MRS Clickhouse 请参见配置MRS Clickhouse数据连接。 MRS Hetu 请参见配置MRS Hetu数据连接。 MRS Impala 请参见配置MRS Impala数据连接。 MRS Ranger 请参见配置MRS Ranger数据连接。 MRS Presto 请参见配置MRS Presto数据连接。 MRS Doris 请参见配置MRS Doris数据连接。 RDS 请参见配置RDS数据连接。 RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见配置RDS数据连接。 ORACLE 请参见配置ORACLE数据连接。 DIS 请参见配置DIS数据连接。 主机连接 请参见配置主机连接。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“保存”,完成数据连接的创建。
  • 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,并且在创建数据连接时已购买选择所需要的组件。 在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的 CDM 集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。 如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见新建数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,详细操作请参见DB配置。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS集群,且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置,也需要同步到另一套MRS集群上。