已找到以下 10000 条记录
  • 请你讲讲分布式系统中分布式环境中的数据是如何管理的?

    以及Bigtable的论文之后,分布式在计算机界的格局就发生了变化,从架构上实现了分布式的难题,并且成熟的应用在了海量数据存储计算上,其集群的规模也是当前世界上最为庞大的。 以DFS 为基础的分布式计算框架key、value 数据高效的解决运算的瓶颈,而且开发人员不用再写复杂的分布式程序,只要底

    作者: Java小叮当
    发表时间: 2022-03-30 15:04:21
    600
    0
  • 分布式shiro权限验证

    分布式shiro权限验证 本文介绍项目中如何应用shiro做分布权限。 因为shiro是基于单服务的,session共享后,可做多服务。分布式权限,需要使用相同的域名(session的作用域)。 基本思路,通过统一的登录服务进行登录,通过iframe框架进行菜单功能跳转。 构建首页页面结构

    作者: 琴岛蛏子
    发表时间: 2022-03-20 16:10:36
    545
    0
  • Hive分布式数据仓库(1)

    了一系列的方法,进行数据提取转化加载,用来存储、查询分析存储在Hadoop中的大规模数据集,并支持UDF(User-Defined Function)、UDAF(User-Defnes AggregateFunction)UDTF(User-Defined Table-Generating

    作者: 胡辣汤
    1371
    0
  • 华为云企业级分布式数据库GaussDB全网商用

    的封闭生态锁定。 l  极致扩展:通过分布式全局事务一致性优化,打破传统分布式性能瓶颈,实现计算与存储的垂直扩展能力,同时支持新增分片的数据在线重分布能力。 l  卓越性能:分布式优化器+Numa-aware技术加持,提供极致性能。在TPC

    作者: GaussDB 数据库
    发表时间: 2021-02-23 06:16:58
    3088
    0
  • 分布式备机读参数 - 云数据库 GaussDB

    on:表示该session开启分布式备机读功能。 off:表示该session不开启分布式备机读功能。 默认值:off 设置方式:该参数属于USERSET类型参数,只能在session级别设置(set enable_standby_read = on),不支持gs_guc set/reload方式进行设置。

  • 分布式入门,怎样用PyTorch实现多GPU分布式训练

    具体来讲,本文首先介绍了分布式计算的基本概念,以及分布式计算如何用于深度学习。然后,列举了配置处理分布式应用的环境的标准需求(硬件软件)。最后,为了提供亲身实践的经验,本文从理论角度实现的角度演示了一个用于训练深度学习模型的分布式算法(同步随机梯度下降,synchronous

    作者: HWCloudAI
    发表时间: 2019-09-02 17:22:52
    6784
    0
  • 分布式 ID 详解 ( 5大分布式 ID 生成方案 )

    n.cc/about-me) 。 分布式架构会涉及到分布式全局唯一ID的生成,今天我就来详解分布式全局唯一ID,以及分布式全局唯一ID的实现方案@mikechen 目录 什么是分布式系统唯一ID 在复杂分布式系统中,往往需要对大量的数据消息进行唯一标识。 如在金融、电商、

    作者: mikechen的互联网架构
    发表时间: 2024-11-03 22:17:20
    38
    0
  • 分布式服务框架 Zookeeper -- 管理分布式环境中的数据

    简介: Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装配置文件中各个配置项的意义,以及分析

    作者: 格图洛书
    发表时间: 2021-12-31 16:52:19
    737
    0
  • [openGauss] SCRLock加速分布式

    [openGauss] SCRLock加速分布式锁可获得性本特性自openGauss 5.0.0版本开始引入。特性简介在资源池化场景下使用SCRLock提供分布式锁能力,提高分布式锁性能。客户价值随着数据规模和数据节点的增加,节点之间获取分布式锁需要消耗很多事件,影响到客户端到端的数

    作者: jerrywang1983
    9
    4
  • DAOS 分布式异步对象存储|存储模型

    为了实现高可用性水平伸缩性,DAOS 提供了许多对象模式(复制/纠删码、静态/动态条带化等)。模式框架是灵活的,并且易于扩展,以允许将来使用新的自定义模式类型。模式布局是在对象标识符 Pool 映射打开的对象上通过算法生成的。通过在网络传输存储期间使用校验保护对象数据,确保了端到端的完整性。

    作者: debugzhang
    发表时间: 2021-03-29 15:03:54
    4168
    0
  • 基于MindSpore Serving部署分布式推理

    概述分布式推理是指推理阶段采用多卡进行推理,针对超大规模神经网络模型参数个数过多、模型无法完全加载至单卡中进行推理的问题,可利用多卡进行分布式推理。本文介绍部署分布式推理服务的流程,分布式推理服务的架构如图所示:Main进程提供客户端访问的接口,管理Distributed Wor

    作者: aka zhangfei
    1926
    0
  • 分布式调测适配及代码示例

    类任务,给出了单机训练分布式训练改造(DDP)的代码。直接执行代码为多节点分布式训练且支持CPU分布式GPU分布式,将代码中的分布式改造点注释掉后即可进行单节点单卡训练。训练代码中包涵三部分入参,分别为训练基础参数、分布式参数和数据相关参数。其中分布式参数由平台自动入参,无需

    作者: 运气男孩
    41
    2
  • 分布式数仓CAP原则的使用

    相当于分布式系统的两个部分。在满足一致性的时候,两台服务器 N1N2,一开始两台服务器的数据是一样的,DB0=DB0。在满足可用性的时候,用户不管是请求N1或者N2,都会得到立即响应。在满足分区容错性的情况下,N1N2有任何一方宕机,或者网络不通的时候,都不会影响N1N2彼此之间的正常运作。 

    作者: 彩虹上的水瓶座
    2488
    1
  • SkyWalking 分布式系统追踪

    SkyWalking 分布式系统追踪 官网: https://skywalking.apache.org/ 简书:https://www.jianshu.com/p/2fd56627a3cf 文档:https://skywalking.apache.org/docs/ SkyWalking

    作者: 琴岛蛏子
    发表时间: 2022-03-20 15:59:19
    681
    0
  • 分布式】事务与分布式事务常用知识点总结

    事务进阶 冰河与猫大人联合出版的《深入理解分布式事务:原理与实战》,行业首部从实际需求出发,全面且细致地介绍有关分布式事务的基础知识、解决方案、实现原理源码实战的书籍。 分别从基础知识,解决方案,原理分析,源码实现,工程实践等5个维度全面展开介绍分布式事务。 更有来自京东,阿里,腾讯,

    作者: 冰 河
    发表时间: 2024-03-30 08:30:35
    11
    0
  • SpringBoot集成分布式对象存储(分布式文件)MinIO

      一、什么是MinIO?   一句话:MinIO是高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。   你可以把它FastDFS、HDFS作为类比,但它比其它都更简单,极简是MinIO的设计初衷之一,而且他的性能很好。   当然也有很多商用的对象存储服务,如阿

    作者: whisperrr
    发表时间: 2021-08-21 08:29:25
    1815
    0
  • 分布式 PostgreSQL之Citus 架构

    特定表跟踪 worker 节点的 DNS 名称运行状况,以及跨节点数据的分布情况。分布式数据表类型Citus 集群中有三种类型的表,每种表都以不同方式存储在节点中,并且用于不同的目的。类型 1:分布式表第一种类型,也是最常见的,是分布式表。对于 SQL 语句而言,它们看似是普通的表,但在

    作者: xxll
    1544
    23
  • [openGauss] 分布式数据库能力

    [openGauss] 分布式数据库能力可获得性本特性自openGauss 2.1.0版本开始引入。特性简介基于分布式中间件shardingsphere使openGauss具备分布式数据库能力。使用32个鲲鹏920(128核)节点组网(1*shardingsphere-proxy

    作者: jerrywang1983
    44
    3
  • 分布式缓存服务之实例恢复

    [*]<p>单击页面上方的“服务列表”,选择“数据库 > 分布式缓存服务”,进入分布式缓存服务信息页面。</p> [*]<p>单击左侧菜单栏的“缓存管理”,进入缓存实例信息页面。</p> [*]<p>“缓存管理”支持通过筛选来查询对应的缓存实例。当前支持的筛选条件为“状态”“名称”。</p> [*]<p>

    作者: 云彩飞扬
    3767
    0
  • 分布式shiro权限验证

    ot-web-starter的项目就是如此简单。 下面增加分布式,在项目启动类上添加注解,注入注册中心,启用redisHttpSession,会解析cookie的sessionId并将数据存放的reids中,以实现分布式session. @EnableRedisHttpSession

    作者: 琴岛蛏子
    发表时间: 2022-03-20 16:04:30
    608
    0