已找到以下 10000 条记录
  • 数据并行导入导出 - 云数据库 GaussDB

    设置不当的风险与影响:请在充分理解参数含义,并经过测试验证后进行修改,避免出现意料之外的结果。 raise_errors_if_no_files参数只在分布式GDS工具使用场景有意义。 gds_debug_mod 参数说明:为了增强对Gauss Data Service(以下简称GDS)相关问题

  • 深入了解Git:介绍及常用命令指南

    版本控制系统(如SVN)不同,Git将代码存储在本地仓库中,使每个开发人员都能在自己的计算机上拥有完整的项目副本,并可以独立地进行开发、测试和修改。 基本概念 当今软件开发领域中,版本控制是一个至关重要的概念,而Git作为最流行的分布式版本控制系统,发挥着不可替代的作用。本文将

    作者: 修己xj
    发表时间: 2023-08-26 16:29:38
    14
    0
  • 设置训练故障优雅退出 - AI开发平台ModelArts

    设置训练故障优雅退出 使用场景 随着模型规模和数据集的急剧增长,需要利用大规模的训练集训练大规模的神经网络。在大规模集群分布式训练时,会遇到集群中某个芯片、某台服务器故障,导致分布式训练任务失败。优雅退出是指中断的训练任务支持自动恢复,并可以在上一次训练中断的基础上继续训练,而不用从头开始。

  • 超高性价比!华为云GeminiDB聚焦企业级业务场景

    款基于华为自主研发的计算存储分离架构的分布式非关系型数据库服务。以100%兼容开源接口、多模型一致的运维体验、多副本强一致性等特点为设计目标,形成高性能、低成本、高可靠、安全、易管理的竞争优势。 性能与成本 华为云多模NoSQL服务相较于原生产品性能提升倍,因为NoSQL和关系

    作者: GaussDB数据库
    发表时间: 2019-08-05 17:13:15
    5334
    0
  • Spark性能优化 - 云架构中心

    Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下,数据处理过程中的数据可以存储在内存中,提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储,使用户能够快速地从MapReduce切换到Spark计算平台上去

  • 超高性价比!华为云GeminiDB聚焦企业级业务场景

    L服务相较于原生产品的性能提升倍,因为NoSQL和关系型数据库不同,其具有水平扩展能力,因此倍的性能提升也就意味着倍的成本节约。数据可靠提供跨3AZ的数据多副本,同时自动备份数据至OBS(对象存储服务),数据持久度高达11个9(99.999999999%),无数据丢失的担忧

    作者: 云小宅
    发表时间: 2019-08-09 17:28:01
    6263
    0
  • Hadoop 中 NameNode 和 DataNode 的角色

    的工作节点,负责实际的数据存储和管理。每个 DataNode 存储文件的数据块,并提供数据的读写服务。DataNode 定期向 NameNode 发送心跳信号和数据块报告,以确保数据块的健康状态和位置。 核心功能 数据块存储: 数据块存储:DataNode 将接收到的数据块存储在本地磁盘上

    作者: wljslmz
    发表时间: 2024-08-12 23:47:34
    8
    0
  • 有人问你什么是CAP?你就把这篇文章发给他

    1、什么是分布式系统 CAP定理是分布式存储系统的基石,分布式系统(distributed system)指的是建立在网络上的软件系统,它是多个计算机节点通过协调工作的方式,共同完成任务的系统。分布式系统解决了单个计算机无法完成的计算和存储任务。但是分布式系统的设计十分复杂,设

    作者: 李子捌
    发表时间: 2021-10-15 05:32:42
    1762
    0
  • PG_STAT_ACTIVITY_NG - 云数据库 GaussDB

    zone 当前活跃查询开始的时间, 如果state的值不是active,则这个值是上一个查询的开始时间。如果是存储过程、函数或package,则显示的是第一个查询时间,不会随着存储过程内语句运行而改变。 state_change timestamp with time zone 上次状态改变的时间。

  • Pandas数据处理1、DataFrame删除NaN空值(dropna各种属性值控制超全)

    dropna(subset=['name', 'age']) print(df) 实际效果: ​编辑 inplace是否复制副本 inplace=False,不复制副本,我们不二次赋值。 import pandas as pd import numpy as np df = pd.DataFrame(

    作者: 红目香薰
    发表时间: 2023-02-13 08:51:43
    71
    0
  • 震惊!火爆全网的ChatGPT背后使用的数据库居然是……

    关键,数据库的波动将会极大地影响模型训练进度。对此,GaussDB(for Cassnadra) 采用了副本形态,数据安全可靠,无丢失风险。同时支持大容量PB级数据存储存储容量秒级扩容,对线上业务无干扰,无中断。 复杂查询 针对模型的下游针对性训练与鲁棒性检验,需要提取部分具

    作者: Cassandra官方
    发表时间: 2023-02-21 15:56:32
    8
    0
  • 数据库服务连 发 高调亮相华为云中国行,究竟说了什么?

    库层多副本扩展,存储层采用分布式存储的多副本冗余结构,保证数据可靠不丢失。 提供多种监控视图及日志查询,让你随时了解数据库实例操作系统及数据库引擎的运行状况。 两大自研优化数据库,彰显华为殷实的研发实力华为自研兼容MySQL的分布式数据库 Taurus,采用“计算与存储分离架构

    作者: 小路~
    发表时间: 2017-11-30 22:36:11
    8048
    0
  • 华为云:一切皆服务,共建全场景智慧金融

    华为云计算Marketing部部长董理斌发表主题演讲 全面拥抱云,核心系统走向分布式云原生化 董理斌指出,当前全球金融机构都在推进云战略,上云趋势正在从外围系统走向核心系统,技术架构经历了大型机专有硬件和标准化硬件架构,正在走向分布式云原生化。 在本次峰会上,华为云推出分布式新核心方案Cloud Native Core

  • 【Elasticsearch系列十五】强大特性

    隐藏特性 分布式机制:分布式数据存储及共享。 分片机制:数据存储到哪个分片,副本数据写入。 集群发现机制:cluster discovery。新启动 es 实例,自动加入集群。 shard 负载均衡:大量数据写入及查询,es 会将数据平均分配。 shard 副本:新增副本数,分片重分配。

    作者: kwan的解忧杂货铺
    发表时间: 2024-09-20 22:54:48
    98
    0
  • 鸿蒙开发工具 DevEco Studio 3.0 体验与项目介绍

    IntelliJ IDEA Community 开源版本打造,面向全场景多设备,提供一站式的应用/服务集成开发环境(IDE),支持分布式多端开发、分布式多端调测、多端模拟仿真,提供全方位的质量与安全保障。 DevEco Studio 3.0支持 HarmonyOS 3.0 的应用

    作者: 宇宙之一粟
    发表时间: 2022-10-27 05:43:34
    563
    0
  • PG_TOTAL_USER_RESOURCE_INFO_OID - 云数据库 GaussDB

    在该机器节点上,用户关联控制组的CPU核数总和。 used_space bigint 已使用的存储空间大小,单位KB。 total_space bigint 可使用的存储空间大小,单位KB,值为-1表示未限制最大存储空间。 used_temp_space bigint 已使用的临时空间大小,单位KB

  • 连接设置 - 云数据库 GaussDB

    p及Others这个组别的read、write、execute属性。 文档的权限属性分别简写为r,w,x,这九个属性个为一组,也可以使用数字来表示文档的权限,对照表如下: r:4 w: 2 x:1 -:0 同一组(owner/group/others)的个属性是累加的。 例

  • google篇论文之GFS

    (1)对Chunk的所有副本的修改操作顺序一致 (2)使用Chunk的版本号来检测副本是否因为它所在的Chunk服务器宕机而错过了修改操作而导致其失效。   对失效副本的处理: 失效的副本不会再进行任何修改操作,Master服务器也不再返回这个Chunk副本的位置信息给客户端。它们会被垃圾收集系统尽快回收。

    作者: tea_year
    发表时间: 2021-12-29 17:03:32
    1114
    0
  • 智慧企业网盘系统

    下都无法访问或下载文件。除与平台提供的分布式文件存储对接外,还可与第方云存储进行深度集成,包括个人、企业文件的存储、共享等。该软件支持主要功能:(1)我的网盘:用于存储个人文件,默认可使用空间1G。支持将企业中的文件导入到我的网盘中进行存储。(2)组织文件:组织文件适合存放企业

    交付方式: License
  • Ceph集群部署

    还支持块存储、对象存储,所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储,例如部署一套集群作为对象存储、SAN存储、NAS存储等。可以作为k8s的存储类,来方便容器持久化存储。 1.3 支持格式 对象存储:即radosgw

    作者: kaliarch
    发表时间: 2021-11-20 12:44:55
    1555
    0