内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • 美团: 数据同步到仓库的架构实践

    一般常用的解决方案是批量取数并Load:直连MySQL去Select表中的数据,然后存到本地文件作为中间存储,最后把文件Load到Hive表中。

    作者: 龙哥手记
    发表时间: 2022-12-16 15:23:54
    132
    0
  • 企业级云数据仓库服务(基于MPP架构)

    所以,数据仓库不但在整个BI系统中起到了支柱的角色,更是企业和组织海量数据收集、存储、分析的核心 场景特点: 数据迁移:多数据源,高效的批量、实时的数据导入 高性能:万亿级数据关联分析秒级响应 海量数据:PB级数据低成本的存储与复杂查询分析 实时:要求分析能够在任意时点,立即给出分析结果

    作者: 关羽夫人
    10390
    2
  • 为什么数据库要允许没有主键的表存在

    在这种情况下,数据库允许没有主键的表存在,将完整性的责任交给了应用程序。2.2. 数据库设计灵活性需求某些特定的数据库设计场景可能要求灵活性,而不需要主键。例如,日志表、临时表或其他非常规数据存储场景可能不需要主键。

    作者: 福州司马懿
    35
    1
  • Mongodb 3.2 云上数据迁移之纯手工版

    第二个业务场景和第一个很相似,因此迁移数据的方案也很相似,在数据迁移阶段不停掉友商数据库,数据迁移完成直接切换数据库ip到华为云dds,当然迁移这段时间的数据库就会丢失,因为没有从友商同步数据到华为云dds。</align><align=left><b>3.

    作者: shm
    7607
    0
  • 物联网 (IoT) 生态系统中的数据集成

    它承诺通过聚合和集成大量数据来改进业务流程,并在众多行业中提供战略成果,物联网和大数据科学专家Yash Mehta说。揭示物联网潜力的警告涉及数据集成,因为数据收集中涉及的设备,通信网络和协议的多样性为数据处理和分析带来了严峻的挑战。

    作者: DevFeng
    730
    20
  • 全国首批“数据经纪人”在广州海珠区诞生

    海珠区政务服务数据管理局负责人称,“数据经纪人”是在政府的监管下,具备开展数据经纪活动资质的机构。该机构要具备生态协同能力、数据运营能力、技术创新能力、数据安全能力和组织保障能力,围绕重点领域开展数据要素市场中介服务,推动数据流通规范化。

    作者: liwt_001
    331
    1
  • 【MySQL】 穿透学习数据库理论与知识剖析-转载

    存储引擎       存储引擎:数据库管理系统如何存储数据、如何为存储数据建立索引和如何更新、查询数据等技术的实现方法。                  MySQL采用插件式的存储引擎, 支持多种存储引擎。

    作者: 泽宇-Li
    38
    7
  • HetuEngine如何添加mysql类型的数据源,在MRS的数据源类型中没有mysql这一类型

    【功能模块】HetuEngine【操作步骤&问题现象】1、HetuEngine如何添加mysql类型的数据源2、在MRS的数据源类型中没有mysql这一类型【截图信息】【日志信息】(可选,上传日志内容或者附件)

    作者: 半个菜鸟
    3665
    3
  • 转载:大数据与云计算之间的关系是怎样的?

    这可确保涵盖以下问题的云计算中大数据的安全性:保护大数据免受高级威胁。云服务提供商如何维护存储数据。有一些与服务级别协议相关的规则可以保护数据容量可扩展性安全隐私数据存储的可用性和数据增长另一方面,在许多组织中,大数据分析被用来检测和预防高级威胁和恶意黑客。

    作者: Catharina
    5845
    0
  • 在物联网中保持数据合规的三个技巧

    云计算带来安全和隐私挑战,如果您遇到泄漏或网络攻击,集中式云上的所有数据都会受到影响。例如,让我们考虑一下云存储的使用如何影响GDPR规定,即个人数据存储时间不得超过其预定义目的所需的时间。由于此规则,必须实施数据保留期,并且必须强制执行数据删除。

    作者: DevFeng
    635
    2
  • 华为云GaussDB矢志创新,打造最可信数据

    由于计算扩容时无需搬迁数据,可以实现分钟级扩展,大规模并行处理架构,扩展更灵活;支持多主节点,提升资源利用率;同时最大可容忍N-1节点异常,全面保障数据库稳定运行;支持不同存储介质,数据可分级存储,也可以按照冷热进行分离存储,大幅度降低数据存储成本,如冷数据存储于OBS中,综合存储成本降低约

    作者: GaussDB 数据库
    28
    0
  • 华为云数据复制服务 DRS 正式商用

    DRS 的迁移对比,包括对象级对比,宏观对比数据对象是否缺失,例如数据库、表、视图、存储过程、触发器等;数据级对比,详细校对不同细度数据,例如行数对比、内容对比等。  需要强调的是,传统数据库迁移对企业而言,业务连续性和数据准确性,往往是是鱼与熊掌的问题。

    作者: GaussDB数据库
    7612
    2
  • 【技术之声】第十五期(20220411)数据库资讯精选

    gBuilder可从多个关系型数据库中抽取数据形成知识图谱数据导入到图数据库gStore中,向用户提供知识图谱存储和管理服务。当前重点适配了openGauss数据库,将之前存储在openGauss数据库中的数据通过映射的方式无损抽取成RDF三元组数据

    作者: Gauss松鼠会
    549
    5
  • 【GaussDB 8.0】【copymanger功能】数据获取时会出现间隔等待

    主要疑问是:1、copyout方法是分批获取数据吗?每次获取先获取一部分数据,然后再进行再查询获取一部分数据直到将表中数据获取完成?2、如果是分批获取数据,如何减少每次获取数据的等待间隔时长。

    作者: yd_239278236
    774
    2
  • 数据下的互联网,新时代的运营法则

    现如今数据资产成为核心竞争力,而大数据的定义我们也有了了直观的认识和体会,体量够大、价值密度低、类型够多、数据时效性高等,也成为大数据下的一个闪耀点。一、大数据的红利和价值1、传统企业应该如何行动才能享受大数据带来的红利呢?

    作者: W--wangzhiqiang
    1127
    0
  • 【技术之声】第十四期(20220328)数据库资讯精选

    数据库是“IT 重构”必争之地。数据库的发展历程大致分成导航型数据库、关系型数据库、非关系型数据库、自治数据库四个阶段。2020 年,全球数据库行业市场规模达到 675 亿美元,市场空间巨大。

    作者: Gauss松鼠会
    633
    1
  • 无人驾驶中常用的37个数据集以及每个数据集的亮点

    13.DIPLECS Autonomous Driving Datasetshttps://goo.gl/8isjeJ亮点: 包括两个关于公共道路的数据集,一个在英国,另一个在瑞典;逐帧标记速度和转向数据(第一个数据集)以及驾驶环境和驾驶员动作(第二个数据集) 14.Dr(eye

    作者: 相信光的奥特王小懒
    发表时间: 2022-04-17 07:38:44
    1473
    0
  • MySQL日志顺序读写及数据文件随机读写原理

    数据库的crud操作的QPS影响非常大,某种程度上几乎决定了你每秒能执行多少个SQL语句,底层存储的IOPS越高,你的数据库的并发能力就越高。磁盘随机读写操作的响应延迟也是对数据库的性能有很大的影响。

    作者: 北极star
    1769
    0
  • 最后5天,企业数据上云专场特惠倒计时

    全场5折起,数据场景全覆盖企业数据上云和治理为企业提供覆盖整个数据生命周期的丰富产品,包括数据存储数据入湖与灾备、大数据计算与分析、大数据治理与可视化四大类。全场5折起,部分产品包3年可享4.5折超低z折扣价。  

    作者: GaussDB 数据库
    3153
    0
  • 在ModelArts中,数据集管理流程及功能简介

    在ModelArts中,您可以在“数据管理”页面,完成数据导入、数据标注等操作,为模型构建做好数据准备。ModelArts以数据集为数据基础,进行模型开发或训练等操作。数据集管理流程及功能简介

    作者: 建赟
    1149
    1