内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • MapReduce快速入门系列(5) | MapReduce任务流程和shuffle机制简单解析

    eTask逻辑运算过程(从文件中取出一个一个键值对Group,调用用户自定义reduce()方法) 3.3 注意   Shuffle中缓冲区大小会影响到MapReduce程序执行效率,原则上说,缓冲区越大,磁盘io次数越少,执行速度就越快。   缓冲区大小可以通过参数调整,参数:io

    作者: 不温卜火
    发表时间: 2020-12-02 16:24:01
    2387
    0
  • Zookeeper入门基础

    一个备用总服务器(负责当总服务器宕机时替换总服务器),一个webcgi(向总服务器发出搜索请求)。搜索引擎服务器中15个服务器提供搜索服务,5个服务器正在生成索引。这20个搜索引擎服务器经常要让正在提供搜索服务服务器停止提供服务开始生成索引,或生成索引服务器已经把

    作者: SHQ5785
    发表时间: 2023-12-06 09:38:17
    21
    0
  • Zookeeper入门基础

    一个备用总服务器(负责当总服务器宕机时替换总服务器),一个webcgi(向总服务器发出搜索请求)。搜索引擎服务器中15个服务器提供搜索服务,5个服务器正在生成索引。这20个搜索引擎服务器经常要让正在提供搜索服务服务器停止提供服务开始生成索引,或生成索引服务器已经把

    作者: SHQ5785
    发表时间: 2024-05-31 14:41:29
    20
    0
  • 为啥离不了 linux-转载

    不一会儿,一些奇奇怪怪玩意儿就会出现在你桌面上),这样一路提心吊胆小心翼翼躲过一路妖魔鬼怪繁杂步骤才下载下来吧。 而在 linux 下,通过简单命令,就能搞定整个安装。你不需要担心弹窗,不需要烦心广告,不需要担心被要求强制更新也不需要频繁去清理垃圾(而且linux

    作者: 泽宇-Li
    36
    1
  • VitualBox安装Ubuntu并安装增强功能

      根据百度百科定义,所谓CPU架构是CPU厂商给属于同一系列CPU产品定一个规范,主要目的是为了区分不同类型CPU重要标示。目前主流CPU有2大类: X86架构:如Intel、AMDCPU是X86架构,包含32位和64位操作系统,常见IA-32 / AMD64 /

    作者: jackwangcumt
    发表时间: 2021-11-12 14:12:53
    2498
    0
  • MySQL半同步复制演进

    lay logack之后,再提交事务并且返回commit OK结果给客户端。即使主库crash,所有在主库上已经提交事务都能保证已经同步到slaverelay log中。同时引入了参数rpl_semi_sync_master_wait_point来控制使用策略,默认值为AFTER_SYNC,即5

    作者: kfpanda
    发表时间: 2018-01-02 10:59:45
    3597
    0
  • Flume快速入门系列(7) | Flume监控之Ganglia安装与部署

    Daemon)是一种轻量级服务,安装在每台需要收集指标数据节点主机上。使用gmond,你可以很容易收集很多系统指标数据,如CPU、内存、磁盘、网络和活跃进程数据等。   gmetad(Ganglia Meta Daemon)整合所有信息,并将其以RRD格式存储至磁盘服务。   gweb(Ganglia

    作者: 不温卜火
    发表时间: 2020-12-02 16:06:42
    2080
    0
  • Samtools(CentOS Linux)安装及常用命令详解

    view命令主要功能是:将sam文件转换成bam文件;然后对bam文件进行各种操作,比如数据排序(不属于本命令功能)和提取(这些操作是对bam文件进行,因而当输入为sam文件时候,不能进行该操作);最后将排序或提取得到数据输出为bam或sam(默认)格式。 ba

    作者: DrugAI
    发表时间: 2021-07-14 19:38:22
    1697
    0
  • 【MindSpore训练营第五期】Cache单节点缓存模块笔记分享

    Cache单节点缓存模块可用于缓存预处理后训练数据,加速数据加载,提升数据复用率,降低数据预处理所需CPU算力     对于需要重复访问远程数据集或需要重复从磁盘中读取数据集情况,可以使用单节点缓存算子将数据集缓存于本地内存中,以加速数据集读取。  缓存算子依赖于在当前节点启动缓存服务器,缓存

    作者: Jack20
    3881
    2
  • 从零到千万用户,我是如何一步步优化MySQL数据库

    数据写压力来源于用户下单,支付等操作,尤其是赶上双十一大促期间,系统写压力会成倍增长。然而,读业务压力会远远大于写压力,据不完全统计,读业务请求量是写业务请求量50倍左右。 接下来,我们就一起来看看数据库是如何升级。 最初技术选型 作为创业公司,最重要一点是

    作者: 冰 河
    发表时间: 2023-12-29 00:36:54
    310
    0
  • 基于小米4C路由器无障碍搭建机器人嵌入式环境(2021.08.17)

    上面的图片是小米4C配置,虽然4C没有usb口,但是搞一搞环境搭建还是ok。 开启Telnet 和 FTP 路由器刷机中 Breed 就相当于 Android 刷机 Recovery Mode ,主要用于便捷地刷入固件,以防止因刷入固件问题导致路由器变砖。 将你路由器正常接

    作者: Hermit_Rabbit
    发表时间: 2022-09-21 12:20:43
    129
    0
  • CentOS虚拟机系统盘扩容修复

    CentOS虚拟机系统盘扩容修复CentOS7镜像规格支持系统盘为20G,当选择系统盘100G时,虚拟机GPT table end位置还是20G。所以在挂载前要先修复分区,系统才能识别相对扩容磁盘空间。# parted /dev/vdaGNU Parted 3.1Using /dev/vdaWelcome to

    作者: Ragnar
    发表时间: 2020-07-16 15:39:03
    7188
    0
  • 生产经验篇(2)——真实环境MySQL机器配置规划

    01s,那么我们4核8G服务器可以达到1000-800之间qps,总之就是看请求处理时间。 2、MYSQL选什么机器? 1、MYSQL一般采用是8核16G以上机器,甚至是16核32G服务器,因为对于我们MySQL中,当我们要执行大量CURD时候,MySQL数据库

    作者: 小白弟弟
    发表时间: 2022-08-19 16:43:29
    196
    0
  • 分布式存储实现

    是将数据分散存储在多个独立设备上。传统网络存储系统采用集中存储服务器存放所有数据,存储服务器成为系统性能瓶颈,也是可靠性和安全性焦点,不能满足大规模存储应用需要。分布式网络存储系统采用可扩展系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统可靠性、

    作者: ospf区域间路由汇总
    发表时间: 2019-01-11 12:47:45
    8293
    0
  • 华为云GaussDB新产品特性亮相DTC2021,重磅新品开源预告

    作为数据库技术灵魂,影响着系统安全可靠,对业务发展至关重要。华为云GaussDB技术专家王磊在会上揭秘了GaussDB新一代内核存储引擎技术。GaussDB存储引擎分为磁盘引擎和内存引擎,磁盘引擎面向通用、大容量业务场景,内存引擎面向容量可控、追求极致性能业务场景。通过

    作者: GaussDB 数据库
    5137
    15
  • FC平台开启内存复用,虚拟机卡死主机上所有虚拟机状态为Paused

    查虚拟机以及主机资源不足因素。5、检查FC平台告警,客户环境为新搭建环境并没有存储资源不足告警。排除磁盘不足导致存储只读因素。6、经询问客户,客户这边已经多次出现这个情况,并且已经更换过镜像版本也没有单独打补丁操作,因此可以排查镜像以及补丁因素导致虚拟机卡死问题。7、在CNA

    作者: Date85
    1178
    0
  • 哪个程序经得起这样优化?

    每个进程提供一个大、一致、私有的地址空间,我们gdb调试时候,打印出来变量地址是虚拟地址。 操作系统+CPU硬件(MMU)紧密合作完成虚拟地址到物理地址翻译(映射),这个过程总是沉默自动进行,不需要应用程序员任何干预。 每个进程有一个单独页表(Page Ta

    作者: C语言与CPP编程
    发表时间: 2021-12-31 16:51:45
    752
    0
  • 直播回顾 | GaussDB(DWS)云原生数仓技术解析

    地,本地磁盘缓存空间够用情况下,可以体验到和本地表一样性能。GaussDB(DWS)在每个计算节点自带磁盘缓存,可以将OBS数据缓存到本地,提升性能。近数据计算:将冷数据优先计算下推到存储层,降低读取数据量。IO调度:充分利用云存储带宽优势,弥补其相较传统MPP高延迟劣势

    作者: 胡辣汤
    59
    1
  • MySQL 优化实战记录

    结果:达到预期。优化结论:sql优化不仅仅是对sql本身优化,还取决于本身硬件条件,其他应用影响,外加自身代码优化。小结优化过程是自身一个历练和考验,珍惜这种机会,不做只写业务代码程序员。希望以上可以有助于你思考,不足之处望指正。原文链接:https://my.oschina

    作者: 孤独键客
    发表时间: 2019-04-01 09:56:55
    2556
    0
  • Ceph环境搭建指南之环境配置和Ceph安装

    节点对所有主/客户机节点免密(包括ceph1本身),此 外需要配置 client1 节点对所有主/客户机节点免密(包括client1本身)。在所有主/客户节点创建放置rpm包目录:mkdir /root/ceph-12-2-5-rpm 将所有本地(不使用外源)下好rpm包(包括ceph-deploy)拷贝至所   

    作者: latebird
    3785
    0