云服务器内容精选

  • 什么是 数据湖 ? 在企业内部,数据是一类重要资产已经成为了共识。随着企业的持续发展,数据不断堆积,企业希望把生产经营中的所有相关数据都完整保存下来,进行有效管理与集中治理,挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结构化数据的大型 数据仓库 ,它可以存储来自多个数据源、多种数据类型的原始数据,数据无需经过结构化处理,就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。 数据湖的本质,是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构:要有足够的扩展性和可靠性,可以存储海量的任意类型的数据,包括结构化、半结构化和非结构化数据。 数据处理工具,则分为两大类: 第一类工具,聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。 第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些 数据治理 工具,元数据缺失,湖里的数据质量就没法保障,最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展,数据湖中数据的价值逐渐水涨船高,价值被重新定义。数据湖能给企业带来多种能力,例如实现数据的集中式管理,帮助企业构建更多优化后的运营模型,也能为企业提供其他能力,如预测分析、推荐模型等,这些模型能刺激企业能力的后续增长。 对于数据仓库与数据湖的不同之处,可以类比为仓库和湖泊的区别:仓库存储着来自特定来源的货物;而湖泊的水来自河流、溪流和其他来源,并且是原始数据。 表2 数据湖与数据仓库的对比 维度 数据湖 数据仓库 应用场景 可以探索性分析所有类型的数据,包括机器学习、数据发现、特征分析、预测等。 通过历史的结构化数据进行数据分析。 使用成本 起步成本低,后期成本较高。 起步成本高,后期成本较低。 数据质量 包含大量原始数据,使用前需要清洗和标准化处理。 质量高,可作为事实依据。 适用对象 数据科学家、数据开发人员为主。 业务分析师为主。
  • 什么是湖仓一体? 虽然数据仓库和数据湖的应用场景和架构不同,但它们并不是对立关系。数据仓库存储结构化的数据,适用于快速的BI和决策支撑,而数据湖可以存储任何格式的数据,往往通过挖掘能够发挥出数据的更大作为,因此在一些场景上二者的并存可以给企业带来更多收益。 湖仓一体,又被称为Lake House,其出发点是通过数据仓库和数据湖的打通和融合,让数据流动起来,减少重复建设。Lake House架构最重要的一点,是实现数据仓库和数据湖的数据/元数据无缝打通和自由流动。湖里的“显性价值”数据可以流到仓里,甚至可以直接被数仓使用;而仓里的“隐性价值”数据,也可以流到湖里,低成本长久保存,供未来的数据挖掘使用。
  • 数据智能方案 数据治理中心 DataArts Studio为大型政企客户量身定制跨越孤立系统、感知业务的数据资源智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。 数据治理中心 DataArts Studio 的核心主要是 智能数据湖 FusionInsight,包含数据库、数据仓库、数据湖等各计算引擎平台,提供了数据使能的全套能力,支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。 拥有强大的湖、仓、库引擎技术,比如数据湖敏捷构建、 GaussDB数据库 快速迁移,数仓的实时分析等,对应服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 GaussDB (for MySQL)、云数据库GaussDB、云数据库PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库GeminiDB等。 数据仓库:云数据仓库GaussDB(DWS)。 数据湖\湖仓一体: MapReduce服务 MRS, 数据湖探索 DLI等。 数据治理中心:数据治理中心DataArts Studio。
  • 什么是数据库? 数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的,且数据和程序之间具备非常强的依赖性,应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据,具有结构化程度高、独立性强、冗余度低等优点。1970年关系型数据库的诞生,真正彻底把软件中的数据和程序分开来,成为主流计算机系统不可或缺的组成部分。关系型数据库已经成为目前数据库产品中最重要的一员,几乎所有的数据库厂商新出的数据库产品都支持关系型数据库,即使一些非关系数据库产品也几乎都有支持关系数据库的接口。 关系型数据库的主要用于联机事务处理OLTP(On-Line Transaction Processing)主要进行基本的、日常的事务处理,例如银行交易等场景。
  • 什么是数据仓库? 随着数据库的大规模应用,以及信息行业的数据爆炸式的增长。为了研究数据之间的关系,挖掘数据隐藏的价值,人们越来越多的需要使用联机分析处理OLAP(On-Line Analytical Processing)进行数据分析,探究一些深层次的关系和信息。但是不同的数据库之间很难做到数据共享,数据之间的集成与分析也存在非常大的挑战。 为解决企业的数据集成与分析问题,数据仓库之父比尔·恩门于1990年提出数据仓库(Data Warehouse)。数据仓库主要功能是将OLTP经年累月所累积的大量数据,通过数据仓库特有的数据储存架构进行OLAP,最终帮助决策者能快速有效地从大量数据中,分析出有价值的信息,提供决策支持。自从数据仓库出现之后,信息产业就开始从以关系型数据库为基础的运营式系统慢慢向决策支持系统发展。 数据仓库相比数据库,主要有以下两个特点: 数据仓库是面向主题集成的。数据仓库是为了支撑各种业务而建立的,数据来自于分散的操作型数据。因此需要将所需数据从多个异构的数据源中抽取出来,进行加工与集成,按照主题进行重组,最终进入数据仓库。 数据仓库主要用于支撑企业决策分析,所涉及的数据操作主要是数据查询。因此数据仓库通过表结构优化、存储方式优化等方式提高查询速度、降低开销。 表1 数据仓库与数据库的对比 维度 数据仓库 数据库 应用场景 OLAP OLTP 数据来源 多数据源 单数据源 数据标准化 非标准化Schema 高度标准化的静态Schema 数据读取优势 针对读操作进行优化 针对写操作进行优化
  • 如何查看数据库用户的创建时间? 方式一: 在创建GaussDB(DWS)数据库用户时,如果指定了用户的生效时间(VALID BEGIN)与用户创建时间一致,且之后未修改过该用户生效时间的情况下,就可以使用视图PG_USER查看用户列表,并通过valbegin字段查看该用户的生效时间,即该用户的创建时间。 示例: 创建用户jerry指定生效时间为当前创建时间。 1 CREATE USER jerry PASSWORD 'password' VALID BEGIN '2022-05-19 10:31:56'; 通过查询视图PG_USER查看用户列表。valbegin字段显示了jerry的生效时间,即jerry的创建时间。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 SELECT * FROM PG_USER; usename | usesysid | usecreatedb | usesuper | usecatupd | userepl | passwd | valbegin | valuntil | respool | parent | spacelimit | useconfig | nodegroup | tempspacelimit | spillspacelimit ---------+----------+-------------+----------+-----------+---------+----------+------------------------+----------+--------------+--------+------------+-----------+-----------+----------------+ ----------------- Ruby | 10 | t | t | t | t | ******** | | | default_pool | 0 | | | | | dbadmin | 16393 | f | f | f | f | ******** | | | default_pool | 0 | | | | | jack | 451897 | f | f | f | f | ******** | | | default_pool | 0 | | | | | emma | 451910 | f | f | f | f | ******** | | | default_pool | 0 | | | | | jerry | 457386 | f | f | f | f | ******** | 2022-05-19 10:31:56+08 | | default_pool | 0 | | | | | (5 rows) 方式二: 通过系统表PG_AUTH_HISTORY的passwordtime字段查看用户最初的密码创建时间,即该用户的创建时间。需要有系统管理员权限才可以访问此系统表。 1 SELECT roloid, min(passwordtime) as create_time FROM pg_auth_history group by roloid order by roloid; 示例: 通过查询视图PG_USER获取用户jerry的OID为457386, 查询passwordtime字段获取到用户jerry的创建时间为2022-05-19 10:31:56。 1 2 3 4 5 6 7 8 9 SELECT roloid, min(passwordtime) as create_time FROM pg_auth_history group by roloid order by roloid; roloid | create_time --------+------------------------------- 10 | 2022-02-25 09:53:38.711785+08 16393 | 2022-02-25 09:55:17.992932+08 451897 | 2022-05-18 09:42:26.897855+08 451910 | 2022-05-18 09:46:33.152354+08 457386 | 2022-05-19 10:31:56.037706+08 (5 rows) 父主题: 通用问题
  • 云硬盘类型、云硬盘模式、共享盘等支持变更吗 云硬盘类型、云硬盘模式、共享盘、加密属性的变更情况如表所示。 表1 云硬盘 变更项 是否支持变更 变更项说明 云硬盘类型变更 支持(公测中) 云硬盘类型只能从低规格变更为高规格,详情参见变更磁盘类型(公测) 共享盘变更 不支持 共享盘不支持转非共享盘 非共享盘不支持转共享盘 云硬盘模式变更 不支持 S CS I云硬盘不支持转VBD云硬盘 VBD云硬盘不支持转SCSI云硬盘 加密属性变更 不支持 非加密云硬盘不支持转加密云硬盘 加密云硬盘不支持转非加密云硬盘 那么是否有其他方法实现变更?建议如下: 通过云硬盘创建备份。 图1 创建备份 再从备份创建新的云硬盘,创建过程中可以为云硬盘重新选择“云硬盘类型”和“高级配置”,包括共享盘。 图2 从备份创建云硬盘 父主题: 云硬盘通用问题
  • 约束与限制 所有者和使用者的子网在同一个VPC内,子网默认网络互通。但是由于使用者和所有者位于共享子网内的资源关联不同的安全组内,因此资源之间网络隔离,如果需要资源之间互通,需要添加安全组规则放通不同安全组之间的网络,具体方法请参见添加安全组规则。 比如,放通账号A和账号B内两个GaussDB(DWS)的安全组,则需要分别在两个安全组内添加入方向规则,源地址选择对方安全组。 单个使用者最多可同时接收100个共享子网,当共享子网数量超过100个时,使用者将无法接收到超出数量的共享子网。 单个子网最多可同时共享给100个使用者,当使用者数量超过100个时,超出数量的使用者将无法接收到共享子网。
  • 共享VPC内所有者和使用者的权限 所有者将VPC子网共享给使用者后,所有者和使用者对共享子网、以及子网内关联云资源的操作权限如表1所示。 表1 共享VPC内所有者和使用者的权限 角色 所有者将子网共享给使用者时 所有者停止子网共享后 使用者退出子网共享后 所有者 所有者不可以修改、删除使用者创建的资源,比如GaussDB(DWS)集群、ECS、ELB等。 在子网的“IP地址管理”页面中,所有者可以查看使用者创建资源的IP地址和资源ID等信息。 所有者可以正常使用、删除、管理VPC下的所有资源。 如果使用者在已停止共享的子网中仍拥有资源,则所有者无法删除共享子网或共享子网所在的VPC。 所有者可以正常使用、删除、管理VPC下的所有资源。 如果使用者退出子网共享后,在共享的子网中仍拥有资源,则所有者无法删除共享子网或共享子网所在的VPC。 使用者 使用者可以在共享VPC子网内新建资源,比如ECS、ELB、RDS实例等。 在子网的“IP地址管理”页面中,使用者可以查看自己创建资源的IP地址和资源ID等信息,无法查看所有者和其他使用者创建的资源信息。 使用者可以继续使用自己创建的资源,无法在该共享子网内新创建资源。 使用者可以继续使用自己创建的资源,无法在该共享子网内新创建资源。
  • 为什么要使用云数据仓库服务GaussDB(DWS) ? 传统的数据仓库售价昂贵,设备系统选型,采购周期长,扩容复杂,整体运行成本十分高昂,因此很难为中小企业所采纳。 云数据仓库服务GaussDB(DWS)与传统的数据仓库相比,主要有以下特点与显著优势: 一款分布式MPP数据仓库云化服务,具备开放,高效,兼容,可扩展,易运维等特点。 基于GaussDB数据仓库产品内核,以云上数据仓库服务的形式将GaussDB(DWS)的能力提供给云平台上的企业用户,打造云上云下一致的数据仓库用户体验。 GaussDB(DWS)是具有国产自主知识产权的新一代分布式数据仓库系统。目前已经被广泛地应用在国内外政府,金融,运营商等行业和财富500强企业当中。该产品不仅兼容主流开源Postgres系列数据库,而且特别针对Oracle和Teradata的SQL语法进行了兼容性增强,在很多场合都可以替代国外同类型产品。 数据仓库服务工程师重点设计实现了基于行列混存的数据仓库内核,在支持海量数据快速分析的同时也很好地兼顾了业务运作系统对数据增删改的需求。引入了基于代价的查询优化器,以及当前数据仓库系统所流行的一些黑科技,包括机器码级别的向量计算,算子间和算子内的并行,节点内和节点间并行,使用LLVM优化编译查询计划的本机代码等。这些黑科技极大地提高了数据查询和分析的性能,为用户带来了更好的体验,解决了特定场景当中的业务痛点。 GaussDB(DWS)服务即开即用 相比以前动辄长达数月的数据仓库选型采购过程,在云上开通使用数据仓库服务只需要数分钟时间,简化了企业用户的购买过程,使用数据仓库的方式,降低使用数据仓库的代价和门槛,让数据仓库实实在在地走进千万家大中小企业, 让数据为企业的发展和决策提供其应有的价值。 父主题: 通用问题
  • 如何通过 域名 访问专享版APIG中注册的接口? 以域名www.test.com为例,具体请参考如下步骤。 图1 域名示例 登录API网关控制台,在左侧导航栏选择“专享版”,单击实例名称,进入“实例概览”页面,在“入口地址”区域查看“弹性IP地址”,获取APIG的访问地址(ip格式)。 图2 获取APIG访问地址 在DNS控制台,配置用户域名www.test.com解析到apig地址的ipv4规则,可参考网站解析至IP地址。 图3 配置ipv4规则 最后在函数服务配置该域名的解析配置(可参考FunctionGraph函数如何解析DNS内网域名),这样就能在函数中通过域名(www.test.com)访问专享版APIG中注册的接口了。 父主题: 通用问题
  • 快照数据安全 GaussDB(DWS)的备份数据是以快照的形式存储在OBS上。OBS已通过中国数据中心联盟的可信 云安全 认证。OBS上的数据支持访问权限控制,密匙访问, 数据加密 。GaussDB(DWS)的快照数据仅用于数据的备份和恢复,无法被外界任何用户访问操作,包括GaussDB(DWS)用户本身。GaussDB(DWS)系统管理员可以通过GaussDB(DWS) Console的快照管理和公有云账单看到快照数据在OBS的空间使用情况。
  • 网络访问安全 GaussDB(DWS)的如下网络安全部署设计使租户之间实现100%的二三层网络隔离,满足政务,金融用户的高等级安全隔离需要。 GaussDB(DWS)部署在租户专属的云主机环境中,不和任何其他租户共享,从物理上隔绝了数据因为计算资源共享而被泄露的可能性。 GaussDB(DWS)集群的虚拟机通过虚拟私有云隔离,避免被其他租户发现和入侵。 网络划分为业务平面和管理平面,两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 安全组规则保护,租户可以通过自定义安全组的功能, 配置安全域的访问规则,提供灵活的网络安全性配置。
  • 为什么某些云硬盘没有WWN信息 云硬盘有两种云硬盘模式,VBD和SCSI。WWN是SCSI云硬盘的唯一标识,VBD云硬盘没有WWN标识。 您可以通过管理控制台查看SCSI云硬盘的WWN信息,具体分为以下两种情况: 对于新创建的SCSI云硬盘,您可以在云硬盘详情页面查看到该云硬盘的WWN信息。 查询结果如图1所示。 图1 已有WWN信息 如果SCSI云硬盘的创建时间早于WWN特性上线时间,那么无法获取该云硬盘的WWN信息。 查询结果如图2所示。 图2 没有WWN信息 父主题: 云硬盘通用问题
  • 授权性能测试服务创建私有资源组 使用租户账号登录性能测试服务控制台,在左侧导航栏单击“测试资源”,进入私有资源组页面。 单击“创建私有资源组”,进入授权页面。 勾选“我已阅读并同意《华为云用户协议》”,单击“立即授权”。 界面右上角显示“授权成功”,表示已授权性能测试服务创建私有资源组。 授权成功后,在 IAM 控制台的“委托”界面,系统会自动创建一条名为“cpts_admin_trust”的委托,此委托包含“CCE Administrator”和“VPCEndpoint Administrator”权限。