云服务器内容精选
-
什么是湖仓一体? 虽然 数据仓库 和 数据湖 的应用场景和架构不同,但它们并不是对立关系。数据仓库存储结构化的数据,适用于快速的BI和决策支撑,而数据湖可以存储任何格式的数据,往往通过挖掘能够发挥出数据的更大作为,因此在一些场景上二者的并存可以给企业带来更多收益。 湖仓一体,又被称为Lake House,其出发点是通过数据仓库和数据湖的打通和融合,让数据流动起来,减少重复建设。Lake House架构最重要的一点,是实现数据仓库和数据湖的数据/元数据无缝打通和自由流动。湖里的“显性价值”数据可以流到仓里,甚至可以直接被数仓使用;而仓里的“隐性价值”数据,也可以流到湖里,低成本长久保存,供未来的数据挖掘使用。
-
数据智能方案 数据治理中心 DataArts Studio为大型政企客户量身定制跨越孤立系统、感知业务的数据资源智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。 数据治理 中心 DataArts Studio 的核心主要是 智能数据湖 FusionInsight,包含数据库、数据仓库、数据湖等各计算引擎平台,提供了数据使能的全套能力,支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。 拥有强大的湖、仓、库引擎技术,比如数据湖敏捷构建、 GaussDB数据库 快速迁移,数仓的实时分析等,对应服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 GaussDB (for MySQL)、云数据库GaussDB、云数据库PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库GeminiDB等。 数据仓库:云数据仓库GaussDB(DWS)。 数据湖\湖仓一体: MapReduce服务 MRS, 数据湖探索 DLI等。 数据治理中心:数据治理中心DataArts Studio。
-
什么是数据仓库? 随着数据库的大规模应用,以及信息行业的数据爆炸式的增长。为了研究数据之间的关系,挖掘数据隐藏的价值,人们越来越多的需要使用联机分析处理OLAP(On-Line Analytical Processing)进行数据分析,探究一些深层次的关系和信息。但是不同的数据库之间很难做到数据共享,数据之间的集成与分析也存在非常大的挑战。 为解决企业的数据集成与分析问题,数据仓库之父比尔·恩门于1990年提出数据仓库(Data Warehouse)。数据仓库主要功能是将OLTP经年累月所累积的大量数据,通过数据仓库特有的数据储存架构进行OLAP,最终帮助决策者能快速有效地从大量数据中,分析出有价值的信息,提供决策支持。自从数据仓库出现之后,信息产业就开始从以关系型数据库为基础的运营式系统慢慢向决策支持系统发展。 数据仓库相比数据库,主要有以下两个特点: 数据仓库是面向主题集成的。数据仓库是为了支撑各种业务而建立的,数据来自于分散的操作型数据。因此需要将所需数据从多个异构的数据源中抽取出来,进行加工与集成,按照主题进行重组,最终进入数据仓库。 数据仓库主要用于支撑企业决策分析,所涉及的数据操作主要是数据查询。因此数据仓库通过表结构优化、存储方式优化等方式提高查询速度、降低开销。 表1 数据仓库与数据库的对比 维度 数据仓库 数据库 应用场景 OLAP OLTP 数据来源 多数据源 单数据源 数据标准化 非标准化Schema 高度标准化的静态Schema 数据读取优势 针对读操作进行优化 针对写操作进行优化
-
什么是数据库? 数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的,且数据和程序之间具备非常强的依赖性,应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据,具有结构化程度高、独立性强、冗余度低等优点。1970年关系型数据库的诞生,真正彻底把软件中的数据和程序分开来,成为主流计算机系统不可或缺的组成部分。关系型数据库已经成为目前数据库产品中最重要的一员,几乎所有的数据库厂商新出的数据库产品都支持关系型数据库,即使一些非关系数据库产品也几乎都有支持关系数据库的接口。 关系型数据库的主要用于联机事务处理OLTP(On-Line Transaction Processing)主要进行基本的、日常的事务处理,例如银行交易等场景。
-
什么是数据湖? 在企业内部,数据是一类重要资产已经成为了共识。随着企业的持续发展,数据不断堆积,企业希望把生产经营中的所有相关数据都完整保存下来,进行有效管理与集中治理,挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结构化数据的大型数据仓库,它可以存储来自多个数据源、多种数据类型的原始数据,数据无需经过结构化处理,就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。 数据湖的本质,是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构:要有足够的扩展性和可靠性,可以存储海量的任意类型的数据,包括结构化、半结构化和非结构化数据。 数据处理工具,则分为两大类: 第一类工具,聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。 第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具,元数据缺失,湖里的数据质量就没法保障,最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展,数据湖中数据的价值逐渐水涨船高,价值被重新定义。数据湖能给企业带来多种能力,例如实现数据的集中式管理,帮助企业构建更多优化后的运营模型,也能为企业提供其他能力,如预测分析、推荐模型等,这些模型能刺激企业能力的后续增长。 对于数据仓库与数据湖的不同之处,可以类比为仓库和湖泊的区别:仓库存储着来自特定来源的货物;而湖泊的水来自河流、溪流和其他来源,并且是原始数据。 表2 数据湖与数据仓库的对比 维度 数据湖 数据仓库 应用场景 可以探索性分析所有类型的数据,包括机器学习、数据发现、特征分析、预测等。 通过历史的结构化数据进行数据分析。 使用成本 起步成本低,后期成本较高。 起步成本高,后期成本较低。 数据质量 包含大量原始数据,使用前需要清洗和标准化处理。 质量高,可作为事实依据。 适用对象 数据科学家、数据开发人员为主。 业务分析师为主。
-
解析DNS内网 域名 您需要提前创建VPC和DNS内网域名,再按照如下步骤操作。 内网域名关联VPC并添加记录集 登录云解析服务控制台,将内网域名关联VPC。 图1 关联VPC 点击进入域名并添加记录集,类型选择A。 图2 添加记录集 创建函数 创建一个运行时语言为Python 2.7版本的函数,代码示例如下: # -*- coding:utf-8 -*- import json import os def handler(event, context): os.system("curl -iv www.test.com") 为函数配置DNS与VPC委托 在 IAM 页面,为 函数工作流 服务配置“DNS ReadOnlyAccess”以及“VPC Administrator”权限的委托。 图3 创建DNS与VPC委托 在进行解析域名时,函数需要查看云解析服务资源,所以必须要配置DNS资源数据读取权限,否则在执行函数时,会提示如下错误,获取不成功。 2020/08/20 10:37:12 GMT+08:00 Start invoke request 'a2f105b4-2e72-4fda-94a5-86d3837e961d', version: latest [GET /v2/zones/{zone_id}/recordsets] failed, response: {"code":"DNS.1802","message":"Policy doesn't allow dns:recordset:list to be performed."} 2020/08/20 10:37:13 GMT+08:00 Finish invoke request 'a2f105b4-2e72-4fda-94a5-86d3837e961d', duration: 1030.072ms, billing duration: 1100ms, memory used: 77.039MB. 配置函数 进入2创建的函数详情页面,在“设置”页签下,执行以下配置。 “权限”选择3创建的委托。 打开VPC访问开关,配置上述操作中创建的VPC、子网、域名,详情参考图4。 图4 配置函数 验证结果 保存后执行函数时,就能在代码中解析该域名中配置的所有IPV4类型的域名。 图5 执行函数 用户配置了VPC域名解析后,如果在DNS云解析服务中修改域名对应的IP,10min后稳定生效。
-
共享VPC内所有者和使用者的权限 所有者将VPC子网共享给使用者后,所有者和使用者对共享子网、以及子网内关联云资源的操作权限如表1所示。 表1 共享VPC内所有者和使用者的权限 角色 所有者将子网共享给使用者时 所有者停止子网共享后 使用者退出子网共享后 所有者 所有者不可以修改、删除使用者创建的资源,比如GaussDB(DWS)集群、E CS 、ELB等。 在子网的“IP地址管理”页面中,所有者可以查看使用者创建资源的IP地址和资源ID等信息。 所有者可以正常使用、删除、管理VPC下的所有资源。 如果使用者在已停止共享的子网中仍拥有资源,则所有者无法删除共享子网或共享子网所在的VPC。 所有者可以正常使用、删除、管理VPC下的所有资源。 如果使用者退出子网共享后,在共享的子网中仍拥有资源,则所有者无法删除共享子网或共享子网所在的VPC。 使用者 使用者可以在共享VPC子网内新建资源,比如ECS、ELB、RDS实例等。 在子网的“IP地址管理”页面中,使用者可以查看自己创建资源的IP地址和资源ID等信息,无法查看所有者和其他使用者创建的资源信息。 使用者可以继续使用自己创建的资源,无法在该共享子网内新创建资源。 使用者可以继续使用自己创建的资源,无法在该共享子网内新创建资源。
-
约束与限制 所有者和使用者的子网在同一个VPC内,子网默认网络互通。但是由于使用者和所有者位于共享子网内的资源关联不同的安全组内,因此资源之间网络隔离,如果需要资源之间互通,需要添加安全组规则放通不同安全组之间的网络,具体方法请参见添加安全组规则。 比如,放通账号A和账号B内两个GaussDB(DWS)的安全组,则需要分别在两个安全组内添加入方向规则,源地址选择对方安全组。 单个使用者最多可同时接收100个共享子网,当共享子网数量超过100个时,使用者将无法接收到超出数量的共享子网。 单个子网最多可同时共享给100个使用者,当使用者数量超过100个时,超出数量的使用者将无法接收到共享子网。
-
为什么要使用云数据仓库服务GaussDB(DWS) ? 传统的数据仓库售价昂贵,设备系统选型,采购周期长,扩容复杂,整体运行成本十分高昂,因此很难为中小企业所采纳。 云数据仓库服务GaussDB(DWS)与传统的数据仓库相比,主要有以下特点与显著优势: 一款分布式MPP数据仓库云化服务,具备开放,高效,兼容,可扩展,易运维等特点。 基于GaussDB数据仓库产品内核,以云上数据仓库服务的形式将GaussDB(DWS)的能力提供给云平台上的企业用户,打造云上云下一致的数据仓库用户体验。 GaussDB(DWS)是具有国产自主知识产权的新一代分布式数据仓库系统。目前已经被广泛地应用在国内外政府,金融,运营商等行业和财富500强企业当中。该产品不仅兼容主流开源Postgres系列数据库,而且特别针对Oracle和Teradata的SQL语法进行了兼容性增强,在很多场合都可以替代国外同类型产品。 数据仓库服务工程师重点设计实现了基于行列混存的数据仓库内核,在支持海量数据快速分析的同时也很好地兼顾了业务运作系统对数据增删改的需求。引入了基于代价的查询优化器,以及当前数据仓库系统所流行的一些黑科技,包括机器码级别的向量计算,算子间和算子内的并行,节点内和节点间并行,使用LLVM优化编译查询计划的本机代码等。这些黑科技极大地提高了数据查询和分析的性能,为用户带来了更好的体验,解决了特定场景当中的业务痛点。 GaussDB(DWS)服务即开即用 相比以前动辄长达数月的数据仓库选型采购过程,在云上开通使用数据仓库服务只需要数分钟时间,简化了企业用户的购买过程,使用数据仓库的方式,降低使用数据仓库的代价和门槛,让数据仓库实实在在地走进千万家大中小企业, 让数据为企业的发展和决策提供其应有的价值。 父主题: 通用问题
-
如何通过域名访问专享版APIG中注册的接口? 以域名www.test.com为例,具体请参考如下步骤。 图1 域名示例 登录API网关控制台,在左侧导航栏选择“专享版”,单击实例名称,进入“实例概览”页面,在“入口地址”区域查看“弹性IP地址”,获取APIG的访问地址(ip格式)。 图2 获取APIG访问地址 在DNS控制台,配置用户域名www.test.com解析到apig地址的ipv4规则,可参考网站解析至IP地址。 图3 配置ipv4规则 最后在函数服务配置该域名的解析配置(可参考FunctionGraph函数如何解析DNS内网域名),这样就能在函数中通过域名(www.test.com)访问专享版APIG中注册的接口了。 父主题: 通用问题
-
网络访问安全 GaussDB(DWS)的如下网络安全部署设计使租户之间实现100%的二三层网络隔离,满足政务,金融用户的高等级安全隔离需要。 GaussDB(DWS)部署在租户专属的云主机环境中,不和任何其他租户共享,从物理上隔绝了数据因为计算资源共享而被泄露的可能性。 GaussDB(DWS)集群的虚拟机通过虚拟私有云隔离,避免被其他租户发现和入侵。 网络划分为业务平面和管理平面,两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 安全组规则保护,租户可以通过自定义安全组的功能, 配置安全域的访问规则,提供灵活的网络安全性配置。
-
授权性能测试服务创建私有资源组 使用租户账号登录性能测试服务控制台,在左侧导航栏单击“测试资源”,进入私有资源组页面。 单击“创建私有资源组”,进入授权页面。 勾选“我已阅读并同意《华为云用户协议》”,单击“立即授权”。 界面右上角显示“授权成功”,表示已授权性能测试服务创建私有资源组。 授权成功后,在IAM控制台的“委托”界面,系统会自动创建一条名为“cpts_admin_trust”的委托,此委托包含“CCE Administrator”和“VPCEndpoint Administrator”权限。
-
为IAM用户配置相关的权限 使用租户账号登录IAM控制台,为IAM用户配置如下权限,具体操作请参考 统一身份认证 服务。 编号 场景 配置权限 1 租户级操作CodeArts PerfTest资源场景 CodeArts PerfTest Administrator。 2 用户级操作CodeArts PerfTest资源场景 CodeArts PerfTest Developer,如果需要使用私有资源组,还需要配置CodeArts PerfTest Resource Developer。 3 创建CCE场景 基于场景1或场景2,还需要配置CCE Administrator,ECS CommonOperations,VPC FullAccess,详见 CCE权限管理 。 4 创建私有资源组场景 如果没有创建CCE,需要先按照场景3配置权限,创建CCE。 首次创建私有资源组,需要使用租户账号/管理员账号授权性能测试服务创建/修改租户的CCE和VPCEndPoint。 如果已经配置了CodeArts PerfTest Administrator,无需其他用户权限;如果已经配置了CodeArts PerfTest Developer,还需要配置CodeArts PerfTest Resource Admnistrator。 5 购买套餐包场景 基于场景1或场景2,还需要配置BSS Finance。 6 智能分析场景 应用监控:场景1已集成所需权限;基于场景2,还需要配置 APM FullAccess。 主机监控:场景1或场景2已集成,无需另外添加。
-
背景信息 代码托管(CodeArts Repo)提供云端代码托管功能以及版本管理功能,即支持代码仓库创建/克隆、一键式下载/上传代码等功能。用户可以快速导入代码库,在云端生成一个基础工程;支持在云端CloudIDE中将云端工程代码一键下载到本地进行功能开发,开发完毕后将变更的代码一键上传到云端。 用户也可以根据需要拉取分支到本地,使用本地IDE进行代码编辑与调试,然后使用代码仓库进行版本管理与冲突解决。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格