SQL Server数据库的高性能优化经验总结
本文主要向人们介绍的是正确优化SQL
Server数据库的经验总结,其中包括在对其进行优化的实际操作中值得大家留意的地方描述,以及对SQL语句进行优化的最基本原则,以下就是文章的主要内容描述。
优化数据库要留意的事项:
1、关键字段建立索引。
2、使用存储过程,它使SQL变得更加灵活和高效。
3、备份数据库和清除垃圾数据。
4、SQL语句语法的优化。(可以用Sybase的SQL
Expert,可惜我没找到unexpired的序列号)
5、清理删除日志。
SQL语句优化的基本原则:
1、使用索引来更快地遍历表。
缺省情况下建立的索引是非群集索引,但有时它并非最佳的。在非群集索引下,数据在物理上随机存放在数据页上。合理的索引设计要建立在对各种查询的分析和预测上。
正常来说:
①.有大量重复值、且常常有范围查询(between,
>,<
,>=,<
=)和order
by、group
by发生的列,可考虑建立群集索引
②.常常同时存取多列,且每列都含有重复值可考虑建立组合索引;
③.组合索引要尽可能使关键查询形成索引覆盖,其前导列一定是使用最频频的列。
2、IS
NULL
与
IS
NOT
NULL
不可以用null作索引,任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下,只要这些列中有一列含有null,该列就会从索引中排除。亦就是说如果某列存在空值,即使对该列建索引也不会提高性能。任何在where子句中使用is
null或is
not
null的语句优化器是不允许使用索引的。
3、IN和EXISTS
EXISTS要远比IN的效率高。里面关系到full
table
scan和range
scan。几乎将所有的IN操作符子查询改写为使用EXISTS的子查询。
4、在海量查询时尽可能少用格式转换。
5、当在SQL
SERVER
2000中
如果存储过程只有一个参数,并且是OUTPUT类型的,必须要在调用这一个存储过程的时候给这一个参数一个初始的值,否则就会出现调用错误。
6、ORDER
BY和GROPU
BY
使用ORDER
BY和GROUP
BY短语,任何一种索引都有助于SELECT的性能提高。留意如果索引列里面有NULL值,Optimizer将无法优化。
7、任何对列的操作都将导致表扫描,它包括SQL
Server数据库函数、计算表达式等等,查询时要尽最大可能将操作移至等号右边。
8、IN、OR子句常会使用工作表,使索引失效。如果不产生大量重复值,可考虑把子句拆开。拆开的子句中应包含索引。
9、SET
SHOWPLAN_ALL>10、谨慎使用游标
在某些必须使用游标的场合,可考虑将符合条件的数据行转入临时表中,再对临时表定义游标进行操作,这样可使性能得到明显提高。
注释:所谓的优化就是WHERE子句利用了索引,不可优化即发生了表扫描或额外开销。经验显示,SQL
Server数据库性能的最大改进得益于逻辑的数据库设计、索引设计和查询设计方面。反过来说,最大的性能问题常常是由其中这些相同方面中的不足引起的。
其实SQL优化的实质就是在结果正确的前提下,用优化器可以识别的语句,充份利用索引,减少表扫描的I/O次数,尽可能避免表搜索的发生。其实SQL的性能优化是一个复杂的过程,上述这些只是在应用层次的一种体现,深入研究还会涉及SQL
Server数据库层的资源配置、网络层的流量控制以及操作系统层的总体设计。
sql语句性能如何优化
SQL语句的优化是将性能低下的SQL语句转换成目的相同的性能优异的SQL语句。
人工智能自动SQL优化就是使用人工智能技术,自动对SQL语句进行重写,从此找到性能非常好的等效SQL语句。
数据库性能的优化
一个数据库系统的生命周期可以分成:设计、开发和成品三个阶段。在设计阶段进行数据库性能优化的成本最低,收益最大。在成品阶段进行数据库性能优化的成本最高,收益最小。
数据库的优化通常可以通过对网络、硬件、操作系统、数据库参数和应用程序的优化来进行。最常见的优化手段就是对硬件的升级。根据统计,对网络、硬件、操作系统、数据库参数进行优化所获得的性能提高,全部加起来只占数据库系统性能提高的40%左右,其余的60%系统性能提高来自对应用程序的优化。许多优化专家认为,对应用程序的优化可以得到80%的系统性能的提高。
应用程序的优化
应用程序的优化通常可以分为两个方面:源代码和SQL语句。由于涉及到对程序逻辑的改变,源代码的优化在时间成本与风险上代价很高,而对数据库系统性能的提高收效有限。
为何要优化SQL语句
. SQL语句是对数据库进行操作的惟一途径,对数据库系统的性能起着决定性的作用。
. SQL语句消耗了70%至90%的数据库资源。
. SQL语句独立于程序设计逻辑,对SQL语句进行优化不会直接影响程序逻辑。
. SQL语句有不一样的写法,在性能上的差异非常大。
. SQL语句易学,但难精通。
优化SQL语句的传统方法是通过手工重写来对SQL语句进行优化。DBA或资深程序员通过对SQL语句执行计划的分析,依靠经验,尝试重写SQL语句,然后对结果和性能进行比较,以试图找到性能较佳的SQL语句。这种传统上的作法无法找出SQL语句的所有大可能写法,且依赖于人的经验,非常耗费时间。
SQL优化技术的发展历程
第一代SQL优化工具是执行计划分析工具。这一类工具针对输入的SQL语句,从数据库提取执行计划,并解释执行计划中关键字的含义。
第二代SQL优化工具只能提供增加索引的建议,它通过对输入的SQL语句的执行计划的分析,来产生是不是要增加索引的建议。
第三代SQL优化工具不仅分析输入SQL语句的执行计划,还对输入的SQL语句本身进行语法分析,经历分析产生写法上的改进建议。
人工智能自动SQL优化
图1人工智能自动SQL优化示意图
人工智能自动SQL优化出现在90年代末。如今在商用数据库领域,LECCO Technology Limited(灵高科研有限公司)拥有该技术,并且提供使用该技术的自动优化商品LECCO SQL Expert,它支持Oracle、Sybase、MS SQL Server和IBM DB2数据库平台。该商品针对数据库应用的开发和维护阶段提供的模块有:SQL语法优化器、PL/SQL集成化开发调试环境(IDE)、扫描器、数据库监视器等。其核心模块SQL语法优化器的工作原理为:①输入一条源SQL语句;②“人工智能反馈式搜索引擎”对输入的SQL语句,结合检测到的数据库结构和索引进行重写,产生N条等效的SQL语句输出;③产生的N条等效SQL语句再送入“人工智能反馈式搜索引擎”进行重写,直至无法产生新的输出或搜索限额满;④对输出的SQL语句进行过滤,选出具有不一样执行计划的SQL语句;⑤对得到的SQL语句进行批量测试,找出性能非常好的SQL语句。
LECCO SQL Expert自动优化实例
假设我们从源代码中抽取出这条SQL语句(也可通过内带的扫描器或监视器获得SQL语句):
SELECT COUNT(*)
FROM EMPLOYEE
swheresEXISTS(SELECT'X'
FROM DEPARTMENT
swheresEMP_DEPT=DPT_ID
AND DPT_NAME LIKE'AC%')
AND EMP_ID IN(SELECT SAL_EMP_ID
FROM EMP_SAL_HIST B
swheresSAL_SALARY> 70000)
按下“优化”按钮后,经历10几秒,SQL Expert就完成了优化的过程,并在这10几秒的时间里重写产生了2267条等价的SQL语句,其中136条SQL语句有不一样的执行计划。
接下来,我们可以对自动重写产生的136条SQL语句进行批运行测试,以选出性能最佳的等效SQL语句。按下“批运行”按钮,在“终止条件”页选择“最佳运行时间SQL语句”,按“确定”。
经历几分钟的测试运行后,我们可以发现SQL124的运行时间和反应时间最短。运行速度约有22.75倍的提高(源SQL语句运行时间为2.73秒,SQL124运行时间为0.12秒)。现在我们就可以把SQL124放入源代码中,结束一条SQL语句的优化工作了。
“边做边学式训练”提高SQL开发水平
LECCO SQL Expert不仅能有效最佳的SQL语句,它所提供的“边做边学式训练”还可以教开发人员和数据库管理员如何写出性能非常好的SQL语句。LECCO SQL Expert的“SQL比较器”可以标明源SQL和待选SQL间的不一样之处。
以上面优化的结果为例,为了查看源SQL语句和SQL124在写法上有什么不一样,我们可以按下“比较器”按钮,对SQL124和源SQL语句进行比较。“SQL比较器”将SQL124相较于源SQL语句的不一样之处以蓝颜色表示了出来。如果选择“双向比较”复选框,“SQL比较器”可将两条SQL语句的不一样之处以蓝色表示。当然,我们亦是可以从源语句和重写后的SQL语句中任选两条进行比较。
从比较的结果可看到,重写后的SQL124把第一个Exists改写成了In;在字段DPT_ID上进行了合并空字符串的操作,以诱导数据库先执行子查询中的
(SELECT DPT_ID||''
FROM DEPARTMENT
WHERE DPT_NAME LIKE'AC%')
在子查询完成后,再与EMPLOYEE表进行嵌套循环连接(Nested Loop Join)。
如果觉得对写法的改变难以理解,还可以点中“执行计划”复选框,通过比较两条SQL语句的执行计划的不一样,来了解其中的差异。在查看执行计划过程中,如果有什么不明白的地方,可以点中“SQL信息按钮”,再点击执行计划看不明白的地方,LECCO SQL Expert的上下文敏感帮助系统将提供执行计划该处的解释。
在“SQL比较器”中,选中“统计信息”复选框后,可得到详细的两条SQL语句运行时的统计信息比较,这对于学习不一样的SQL写法对数据库资源的消耗很有帮助。
LECCO SQL Expert优化模块的特点
LECCO SQL Expert优化模块的特点主要表现为:自动优化SQL语句;以独家的人工智能知识库“反馈式搜索引擎”来重写性能优异的SQL语句;找出所有等效的SQL语句及可能的执行计划;保证产生相同的结果;先进的SQL语法分析器能处理最复杂的SQL语句;可以重写SELECT、SELECT INTO、UPDATE、INSERT和DELETE语句;通过测试运行,为应用程序和数据库自动找到性能非常好的SQL语句;提供微秒级的计时,可以优化Web应用程序和有大量网民的在线事务处理中运行时间很短的SQL语句;为开发人员提供“边做边学式训练”,迅速提高开发人员的SQL编程技能;提供上下文敏感的执行计划帮助系统和SQL运行状态帮助;不是猜测或建议,而是独一无二的SQL重写解决方案。
写出专家级的SQL语句
LECCO SQL Expert的出现,使SQL的优化变得极其简单,只要能为SQL语句,它就能帮网民找到最好性能的写法。LECCO SQL Expert不仅可以在很短的时间内找到所有大可能的优化方案,而且可以品尝实际测试,确定最佳效果的优化方案。同以往的数据库优化手段进行比较,LECCO SQL Expert将数据库优化技术带到了一个崭新的技术高度,依赖人的经验、耗费大量时间、受人的思维束缚的数据库优化手段已经被高效、省时且准确的自动优化软件所取代了。通过内建的“LECCO小助手”的帮助,即使是SQL的开发新手,也能快速且简单地写出专家级的SQL语句。