内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • SIGMOD’22 HiEngine论文解读

    向后兼容现有的云原生数据库系统。 HiEngine与华为GaussDB (for MySQL)集成,将内存数据库引擎的优势带到云端,并与基于磁盘的引擎共存。HiEngine的性能比传统的以存储为中心的解决方案高出7.5倍。 研究背景 1. Memory-centric计算架构 以内

    作者: 云数据库创新Lab
    发表时间: 2022-07-04 06:19:26
    3149
    0
  • 【玩转云耀云服务器HECS】Prometheus + grafana 监控服务器性能 (基于 Docker 部署)

    来监控服务器性能。 组件作用 本文需要用到如下三个组件,其作用分别为 node_exporter: 他的作用主要是收集性能测试的数据,如cpu、内存磁盘网络等信息,然后将数据保存到prometheus,相当于将数据存入到数据库中。 prometheus 只能用于做数据存储,不能做展示,因此我们需要用到grafana组件。

    作者: 福州司马懿
    发表时间: 2023-04-05 18:14:11
    296
    0
  • 数据库索引以及优化

    查到现有索引页的中间某个位置。此时mysql不得不为了将新记录插到合适位置而移动数据,甚至目标页面 可能已经被写到磁盘上而从缓存中清掉,此时也要从磁盘上读回来,这增加了很多开销,同时频繁的移动, 分页操作造成了大量的碎片,得到了不够紧凑的索引结构,后续不得不通过optimize

    作者: brucexiaogui
    发表时间: 2021-12-29 16:29:32
    557
    0
  • CPU阿甘的故事

    "阿甘, int 0x19"我赶紧去刚弄好的中断向量表中去查第19号, 顺藤摸瓜又找到对应0x19的一大堆指令。执行吧, 这堆指令把将磁盘的第一扇区(磁盘最开始的512字节)运到内存的0X0000:0X7C00处,然后我就从此处接着执行。我想起来了, 接下来有一大堆精巧的指令把迷迷糊糊的操作系统从硬盘中唤醒,

    作者: feichaiyu
    发表时间: 2019-10-27 03:17:36
    6350
    0
  • 【华为云MySQL技术专栏】GaussDB (for MySQL)流控技术解读

    第一种方式:通过关联较少的资源,设置单一阈值进行限流,对上下游影响较小。这里以盘级流控为例,如图2所示,每个存储节点管理多块存储磁盘,每个磁盘处理读写请求相互独立。通过监控每个磁盘的读写频率和读请求时延,来判断其是否超过阈值。如果超过,则为热点盘。 热点盘上有多个活跃Slice,如果某个Sli

    作者: GaussDB 数据库
    发表时间: 2024-09-27 10:49:37
    43
    0
  • 分布式主动感知在智能运维中的实践|分享实录

    能。异常检测:出现问题时很快检测并定位到异常点。根因分析:分析问题的诱因,找出真正导致问题的根本原因。动态扩容:问题处理的过程中可能受到复杂因素的影响,需要对系统进行动态扩容。服务降级:不影响核心业务的边缘业务可能需要做服务降级处理。3)成本随着公司规模的不断壮大,投入产出比也越

    作者: 且听风吟
    发表时间: 2019-09-05 10:26:40
    5211
    0
  • Restic适配OBS开源开发任务心得

    Restic 版本。 初始化存储库 在进行备份之前,需要初始化一个存储库(即备份数据的存储位置)。Restic 支持多种存储后端,例如本地磁盘、S3、Google Cloud Storage 等。 # AK 和 SAK 可以在华为云我的凭证中找到 export AWS_ACCES

    作者: yangjiaxin98
    发表时间: 2024-12-13 15:51:46
    35
    0
  • 设置 Linux iSCSI 存储目标和远程客户端访问

    到存储服务器的客户端计算机上执行。 7. 在客户端:发现 iSCSI 在客户端上,在您发现 iSCSI 之前,您不会看到新的 iSCSI 磁盘。例如,以下输出不会显示任何内容。 fdisk -l /dev/sdb 现在所有目标端配置都已完成,可以从客户端通过 iSCSI 访问

    作者: Tiamo_T
    发表时间: 2022-10-13 01:56:13
    279
    0
  • 大数据——Hadoop2.0 Yarn框架原理及运作机制

    象概念“资源容器”Resource Container简称Container表示Container是一个动态资源分配单位它将内存、CPU、磁盘、网络等资源封装在一起从而限定每个任务使用的资源量。此外该调度器是一个可插拔的组件用户可根据自己的需要设计新的调度器YARN提供了多种直接可用的调度器比如Fair

    作者: jimmybhb
    发表时间: 2019-10-29 09:01:58
    5295
    0
  • 为什么不让用join?《死磕MySQL系列 十六》

    算法,这种思想在MySQL中很多地方都在使用 扩展 例如,索引是存储在磁盘中的,每次使用索引进行检索数据时会把数据从磁盘读入内存中,读取的方式也是分块读取,并不是一次读取完。 假设现在操作系统需在磁盘中读取1kb的数据,实际上会操作系统读取到4kb的数据,在操作系统中一页的

    作者: 原来是咔咔
    发表时间: 2022-03-26 16:40:26
    326
    0
  • 数据库索引

    没有内存,中不影响数据更新的数据更新时,在这些数据更新的时候,在更新的数据页中,如果在OODB正常操作时,如果在此操作时,就不需要这样了从磁盘中读入这个数据页。在下一个查询需要访问这个数据页的时候,将数据页读入内存,然后更改缓冲区中与这个页相关的操作。通过这种方式,保证这个数据逻

    作者: 苏州程序大白
    发表时间: 2022-03-21 07:23:56
    412
    0
  • Linux进程状态及优先级

    当然,通过切断电源的方式也可以强制关闭,但是那样操作系统也关闭了,且会损失数据! 这种状态一般可能出现在,例如进程需要在磁盘上I/O,但是此时磁盘I/O阻塞了,此时如果影响进程可能会造成数据损坏,所以操作系统为了保证数据安全,不会插手这件事,一般很少会碰到该状态,如果碰到了该状态,那么计算机很可能就要崩溃了!

    作者: ARMCSKGT
    发表时间: 2023-05-28 15:12:15
    13
    0
  • 【云小课】EI第31课 不可不知的调优技巧-GaussDB(DWS)表结构优化

    所适用的业务场景 LOW 系统CPU使用率高,存储磁盘空间充足。 MIDDLE 系统CPU使用率适中,但存储磁盘空间不是特别充足。 HIGH 系统CPU使用率低,磁盘空间不充裕。 创建使用压缩比的表 示例:创建列存表wareh

    作者: Hi,EI
    发表时间: 2021-10-26 10:38:34
    2578
    0
  • HERO联盟知识学堂第一期——数据库工程师进阶之路——化繁为简,从“新”开始——LV1(一)未完

    文件系统阶段 数据库系统阶段 背景 应用背景 科学计算 科学计算、数据管理 大规模数据管理 硬件背景 无直接存取存储设备 磁盘、磁鼓 大容量磁盘磁盘阵列 软件背景 无操作系统 有文件系统 有数据库管理系统 处理方式 批处理 联机实时处理,批处理 联机实时处理,分布处理,批处理

    作者: 阿扬
    发表时间: 2021-04-28 10:08:06
    2218
    0
  • HDFS元数据管理机制

    记录 HDFS 的 DataNode 的信息,用于DataNode 的管理。 按形式分为内存元数据和元数据文件两种,分别存在内存和磁盘上。 HDFS 磁盘上元数据文件分为两种,用于持久化存储: fsimage 镜像文件: 是元数据的一个持久化的检查点,包含 Hadoop 文件系统中

    作者: 凌晨五点起床的打工人
    发表时间: 2021-12-29 05:30:36
    991
    0
  • 从零到千万用户,我是如何一步步优化MySQL数据库的?

    优化MySQL参数,比如增大innodb_buffer_pool_size,让更多操作在MySQL内存中完成,减少磁盘操作。 使用高性能CPU主机。 数据库使用物理主机,避免使用虚拟云主机,提升IO性能。 使用SSD磁盘,提升IO性能。SSD的随机IO性能约是SATA硬盘的10倍甚至更高。 业务代码优化,将

    作者: 冰 河
    发表时间: 2023-12-29 00:36:54
    310
    0
  • 漫话:如何给女朋友解释什么是Linux的五种IO模型?

    说的IO,指的是文件的输入和输出,但是在操作系统层面是如何定义IO的呢?到底什么样的过程可以叫做是一次IO呢?拿一次磁盘文件读取为例,我们要读取的文件是存储在磁盘上的,我们的目的是把它读取到内存中。可以把这个步骤简化成把数据从硬件(硬盘)中读取到用户空间中。其实真正的文件读取还涉

    作者: SUNSKY
    发表时间: 2019-11-06 14:55:11
    5071
    0
  • 大数据量下的存储设计模式探索

    技术变革,来举例分析存储技术的进步对存储模式设计的影响。由于传统磁盘的机械式运动,造成物理读和逻辑读,以及顺序读和离散读的巨大性能差别。因此,以往的设计思路是将数据尽可能的缓存到内存中,避免磁盘I/O,尤其是避免磁盘离散读。随着固态硬盘的技术成熟,物理读和逻辑读,以及顺序读和离散

    作者: 费德勒
    发表时间: 2017-04-27 14:56:40
    10154
    0
  • 云原生Kubernetes技术之持久化存储

    存储:解决数据持久化问题 什么是 PersistentVolume   因为 Pod 里的容器是由镜像产生的,而镜像文件本身是只读的,进程要读写磁盘只能用一个临时的存储空间,一旦 Pod 销毁,临时存储也就会立即回收释放,数据也就丢失了。 为了保证即使 Pod 销毁后重建数据依然存在,我们就需要找出一个解决方案,让

    作者: tea_year
    发表时间: 2024-11-24 22:00:53
    68
    0
  • 实践系列-GaussDB(DWS) 空间释放(vacuum full) 最佳实践

    目前根据某项目情况,其DWS的磁盘IO性能低、库内数据量大、对象多、数据膨胀严重。若毫无目的性的进行空间释放,一方面对IO压力很大,严重影响当前DWS任务运行,同时预计每次执行VACUUM FULL 时间已超过运行间隔,导致维护任务无法开展;若依据脏页率进行磁盘空间维护,每次脏页统计花

    作者: 爱加班的叶凡
    发表时间: 2020-11-26 15:16:30
    7322
    1