内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • 大数据计算,如何优化SQL?-转载

     前言 很多大数据计算都是用SQL实现的,跑得慢时就要去优化SQL,但常常碰到让人干瞪眼的情况。 很多大数据计算都是用SQL实现的,跑得慢时就要去优化SQL,但常常碰到让人干瞪眼的情况。  比如,存储过程中有三条大概形如这样的语句执行得很慢:   select a,b,sum(x)

    作者: 吃完就睡,快乐加倍
    96
    3
  • MyBatis中SQL语句优化小结

    作为一款优秀的持久层框架,它支持自定义SQL、存储过程以及高级映射。它免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。还可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO(Plain Old Java Objects,普通老式 Java 对象)为数据库中的记录。接下

    作者: 追梦小柠檬
    2342
    3
  • SQL优化必懂概念(一)

    vity指一组谓词(条件)在一个数据集中命中的比例。一般命中5%以内的数据走索引,超过5%的数据使用全表扫描。Cost表示优化器计算出来的SQL执行代价,优化器通过Cost的大小选择最优的执行计划,Cost的绝对值没有太大的意义。直方图(HISTOGRAM)为什么需要直方图?对没

    作者: 运气男孩
    2546
    0
  • DWS SQL语句中in常量优化

    常量”转化为join操作性能更好。解决办法qrw_inlist2join_optmode可以控制把“in 常量”转join的行为。默认是cost_base的。如果优化器估算不准,可能会出现需要转化的场景没有做转化,导致性能较差。这种情况下可以通过设置qrw_inlist2join_optmode为rule_base来规避解决。

    作者: 瘸子那条好腿
    3021
    2
  • 【第20天】SQL进阶-查询优化- performance_schema系列二:常用配置详解(SQL 小虚竹)

    ce_schema配置表(本章后续内容会讲到)中的配置项在MySQL实例停止时会全部丢失。所以,如果想要把配置项持久化,就需要在MySQL的配置文件中使用启动选项来持久化配置项,让MySQL每次重启都自动加载配置项,而不需要每次重启都再重新配置。 启动选项配置 performa

    作者: 小虚竹
    发表时间: 2022-10-11 23:12:50
    1322
    0
  • 【MySQL调优】查询优化

    在之前的文章中我们讨论了优化数据库结构与优化数据库索引,在二者的基础上,我们还需要足够好的查询来让上两步的优化发挥其真正的价值。 查询优化、索引优化与数据库结构优化齐头并进,一个不落,才能保证系统的高效性。 查询变差的原因: 查询是由多个子任务所实现的,需要优化查询,要么就是消除其中

    作者: ChillRay
    发表时间: 2020-12-29 23:49:47
    2884
    0
  • 优化了MYSQL大量写入问题,老板奖励了1000块给我

     摘要:大家提到Mysql的性能优化都是注重于优化sql以及索引来提升查询性能,大多数产品或者网站面临的更多的高并发数据读取问题。然而在大量写入数据场景该如何优化呢?今天这里主要给大家介绍,在有大量写入的场景,进行优化的方案。总的来说MYSQL数据库写入性能主要受限于数据库自身的配置,以及操作系统

    作者: 追梦小柠檬
    1153
    2
  • mysql-深分页优化

    t行,返回。 其中需要注意的就是回表,也是产生性能问题的关键,当深分页的时候,需要取出的列越多,回表的次数越多,所以越慢。 常见优化策略 优化策略核心就是减少回表次数。 子查询或延迟关联 子查询和延迟关联原理都是一样的,通过查询出符合的数据ID,通过ID索引查询代替回表操作

    作者: object
    发表时间: 2024-03-25 16:30:32
    0
    0
  • 《大数据技术丛书 Flink原理、实战与性能优化》—2.3.4 项目配置

    2.3.4 项目配置 对于通过项目模板生成的项目,项目中的主要参数配置已被初始化,所以无须额外进行配置,如果用户通过手工进行项目的创建,则需要创建Flink项目并进行相应的基础配置,包括Maven Dependences、Scala的Version等配置信息。1. Flink基础依赖库

    作者: 华章计算机
    发表时间: 2019-06-14 16:50:39
    2674
    0
  • GaussDB(for MySQL)性能优化 —— 日志的“快递驿站”

    递员,存储上的文件看做取快递的人,那么我们会发现两者有非常大的相似性。那么我们可以像快递配送优化那样去优化事务的处理流程吗?答案是可以的。图4 事务处理和快读配送非常类似根据快递驿站的优化原理,我们知道,快递驿站帮快递员免去了等待客户取货的时间,那么事务处理过程中,有没有等待的过

    作者: mysql扫地僧
    7388
    0
  • 《大数据技术丛书Flink原理、实战与性能优化》—2.3.4 项目配置

    2.3.4 项目配置对于通过项目模板生成的项目,项目中的主要参数配置已被初始化,所以无须额外进行配置,如果用户通过手工进行项目的创建,则需要创建Flink项目并进行相应的基础配置,包括Maven Dependences、Scala的Version等配置信息。1. Flink基础依

    作者: 华章计算机
    发表时间: 2019-06-01 22:41:11
    5968
    0
  • MySQL性能优化(二):选择优化的数据类型

    在众多的数据类型面前,如何选择正确的数据类型,对于高性能是至关重要的。本文将介绍如何选择优化的数据类型,来提高 MySQL 的性能,将会选取最为常用的类型进行说明,便于在实际开发中创建表、优化表字段类型时提供帮助。 一、选择原则 不管存储哪种类型的数据,下面几个简单的原则将有助于你做出更好的选择。

    作者: xcbeyond
    发表时间: 2022-07-20 13:53:07
    950
    0
  • MySQL数据库优化技巧大全

    一. MySQL优化三大方向 ① 优化MySQL所在服务器内核(此优化一般由运维人员完成)。 ② 对MySQL配置参数进行优化(my.cnf)此优化需要进行压力测试来进行参数调整。 ③ 对SQL语句以及表优化。 二.MySQL参数优化 1:MySQL 默认的最大连接数为

    作者: lxw1844912514
    发表时间: 2022-03-26 16:23:24
    367
    0
  • redis优化系列(三)解决主从配置后的常见问题

    从节点故障时,立刻切换到其他从节点或主节点。 3、配置不一致 主机和从机不同,经常导致主机和从机的配置不同,并带来问题。 ①、数据丢失: 主机和从机有时候会发生配置不一致的情况,例如 maxmemory 不一致,如果主机配置 maxmemory 为8G,从机 slave 设置为

    作者: 炒香菇的书呆子
    发表时间: 2022-04-23 10:56:21
    505
    0
  • 【MySQL】慢sql优化全流程解析

    中,再遍历被驱动表与驱动表进行查询。 优化慢sql sql优化方案 根据explain执行计划的返回结果,我们可以根据以下字段进行sql优化: 通过key和key_len检査是否命中了索引(索引本身存在是否有失效的情况) 通过type字段查看sql是否有进一步的优化空间,是否存在全索引扫描或全表扫描

    作者: MoCrane
    发表时间: 2024-08-11 12:48:07
    51
    0
  • 高并发测试结果没有优势

    也是这个值应该是稳定了)(广州节点)我在云服务器(广州节点,2核2g)上搭建mysql同样进行测试,QPS有210这样的话GaussDB高并发的优势该怎么体现哇(头秃)

    作者: yd_240913197
    85
    10
  • Hadoop入门(五):集群配置

    文章目录 集群配置目标配置说明配置集群核心配置文件HDFS配置YARN配置MapReduce 配置 分发配置文件配置workers启动集群初始化启动集群ResourceManager节点启动 YARNWeb

    作者: 川川菜鸟
    发表时间: 2022-08-27 14:16:17
    319
    0
  • 更新配置

    更新配置 使用kubernetes-java-client操作ConfigMap。详情见K8sUtil 首先需要获取集群信息,将~/.kube/config目录下文件内容拷贝至common模块resource目录下。 生成可以访问集群的toke

  • SQL 优化 —— join与子查询

    会更快,因为连接是大多数数据库优化器的重点优化对象。对于存在大量数据的复杂查询,连接可能更易于优化和维护。对于简单查询或当子查询仅用于返回单个值(如聚合值)时,子查询可能更简洁且性能不差。考虑查询优化器的行为:现代数据库优化器通常能够识别并优化子查询和连接的等价形式,但具体效果因

    作者: 福州司马懿
    17
    0
  • 【MySQL调优】索引优化

    有人在MySQL之外修改了数据表文件或者通过rsync备份InnoDB。 更新索引统计: MySQL的优化器需要通过索引统计信息来完成优化判断,如果统计信息不准确,将会影响到优化器的正常工作,同时会造成MySQL语句执行缓慢。可以通过运行ANALYZE TABLE的方式来重新生成统计信息。

    作者: ChillRay
    发表时间: 2020-12-30 00:16:32
    2452
    0