数据库性能提升策略有哪些
1、优化数据结构设计
此环节在信息系统开发前完成，开发者需考虑是否启用ORACLE数据库的分区特性，对频繁访问的数据库表是否需要创建索引等。
2、优化应用程序架构设计
同样在信息系统开发前完成，开发者需选择合适的架构体系，如采用传统的Client/Server两层架构，或是Browser/Web/Database三层架构。不同架构对数据库资源的需求各异。
3、优化数据库SQL语句
应用程序执行最终归结为数据库中的SQL语句执行，因此SQL语句的执行效率直接决定了ORACLE数据库的性能。ORACLE公司建议使用ORACLE语句优化器(OracleOptimizer)和行锁管理器(row-levelmanager)来优化SQL语句。
4、优化服务器内存分配
内存分配在信息系统运行过程中进行优化配置，数据库管理员可根据数据库运行状况调整数据库系统全局区(SGA区)的数据缓冲区、日志缓冲区和共享池的大小；还可调整程序全局区(PGA区)的大小。需要注意的是，SGA区并非越大越好，SGA区过大可能占用操作系统内存，导致虚拟内存页面交换，反而降低系统性能。
5、优化硬盘I/O
此步骤在信息系统开发前完成。数据库管理员可将同一表空间的数据文件分布在不同的硬盘上，实现硬盘间I/O负载均衡。
6、优化操作系统参数
例如：运行在UNIX操作系统上的ORACLE数据库，可调整UNIX数据缓冲池大小，每个进程可用内存大小等参数。
实际上，上述数据库优化策略之间相互关联。ORACLE数据库性能下降通常表现为用户响应时间延长，需要用户长时间等待。但性能下降的原因多种多样，有时是多个因素共同作用的结果，这就需要数据库管理员具备全面的计算机知识，能够敏锐地察觉到影响数据库性能的主要因素。此外，良好的数据库管理工具对于优化数据库性能也至关重要。
一、ORACLE数据库性能优化工具
常用的数据库性能优化工具有：
ORACLE数据库在线数据字典，ORACLE在线数据字典能反映ORACLE动态运行情况，对调整数据库性能有很大帮助。
操作系统工具，如UNIX操作系统的vmstat，iostat等命令，可查看系统级内存和硬盘I/O使用情况，这些工具对管理员找出系统瓶颈位置很有用。
SQL语言跟踪工具(SQLTRACEFACILITY)，SQL语言跟踪工具可记录SQL语句执行情况，管理员可使用虚拟表调整实例，使用SQL语句跟踪文件调整应用程序性能。SQL语言跟踪工具将结果输出为操作系统文件，管理员可用TKPROF工具查看这些文件。
ORACLEEnterpriseManager(OEM)，这是一个图形的用户管理界面，用户可使用它方便地进行数据库管理，无需记住复杂的ORACLE数据库管理命令。
EXPLAINPLAN——SQL语言优化命令，使用该命令可帮助程序员编写高效的SQL语言。
二、ORACLE数据库的系统性能评估
信息系统的类型不同，关注的数据库参数也有所不同。数据库管理员需根据信息系统的类型，着重考虑不同的数据库参数。
1、在线事务处理信息系统(OLTP)，这类信息系统通常需要大量Insert、Update操作，如民航机票发售系统、银行储蓄系统等。OLTP系统需保证数据库的并发性、可靠性和最终用户的速度，这类系统使用的ORACLE数据库需主要考虑以下参数：
数据库回滚段是否足够？
是否需要建立ORACLE数据库索引、聚集、散列？
系统全局区(SGA)大小是否足够？
SQL语句是否高效？
2、数据仓库系统(DataWarehousing)，这类信息系统的主要任务是从ORACLE的海量数据中进行查询，得到数据之间的某些规律。数据库管理员需为这类ORACLE数据库着重考虑以下参数：
是否采用B*-索引或bitmap索引？
是否采用并行SQL查询以提高查询效率？
是否采用PL/SQL函数编写存储过程？
如有必要，需建立并行数据库提高数据库查询效率。
三、SQL语句的调整原则
SQL语言是一种灵活的语言，相同的功能可以使用不同的语句实现，但语句的执行效率差异很大。程序员可使用EXPLAINPLAN语句比较各种实现方案，并选择最优方案。总体来说，程序员编写SQL语句需满足以下规则：
1、尽量使用索引。比较以下两条SQL语句：
语句A：SELECTdname,deptnoFROMdeptWHEREdeptnoNOTIN
(SELECTdeptnoFROMemp);
语句B：SELECTdname,deptnoFROMdeptWHERENOTEXISTS
(SELECTdeptnoFROMempWHEREdept.deptno=emp.deptno);
这两条查询语句实现的结果相同，但执行语句A时，ORACLE会对整个emp表进行扫描，未使用建立在emp表上的deptno索引；执行语句B时，由于在子查询中使用了联合查询，ORACLE只需对emp表的部分数据进行扫描，并利用了deptno列的索引，因此语句B的效率高于语句A。
2、选择联合查询的联合次序。考虑以下例子：
SELECTstuffFROMtabaa,tabbb,tabcc
WHEREa.acolbetween:alowand:ahigh
ANDb.bcolbetween:blowand:bhigh
ANDc.ccolbetween:clowand:chigh
ANDa.key1=b.key1
AMDa.key2=c.key2;
这个SQL例子中，程序员首先需选择要查询的主表，因为主表需进行整个表数据的扫描，所以主表数据量应最小，因此例子中表A的acol列的范围应比表B和表C相应列的范围小。
在这个SQL实例中，开发者起初需挑选出所需查询的主表，由于主表需对整个表格数据进行扫描，因此主表的数据量应尽可能小，故此例中表A的acol列的区间应小于表B和表C对应列的区间。
3、在子查询中应谨慎运用IN或NOTIN指令，采用WHERE(NOT)EXISTS语句的效果更为优越。
4、应谨慎使用视图的联合查询，尤其是对于复杂视图间的联合查询。通常，对视图的查询最好直接分解为对数据表的查询，这样效果更佳。
5、可以在参数文件中配置SHARED_POOL_RESERVED_SIZE参数，此参数在SGA共享池中保留一块连续的内存空间，连续的内存空间有利于存放大型SQL程序包。
6、ORACLE公司提供的DBMS_SHARED_POOL程序可协助开发者将某些频繁使用的存储过程“锁定”在SQL区中，防止其被移出内存。对于频繁使用且占用大量内存的存储过程，将其“锁定”在内存中有助于提升最终用户的响应速度。
四、CPU参数的调整
CPU是服务器的一项关键资源，服务器良好的运行状态是工作高峰时CPU的使用率在90%以上。若空闲时间CPU使用率即超过90%，则说明服务器缺乏CPU资源；若工作高峰时CPU使用率仍然较低，则说明服务器CPU资源较为充足。
使用相同的命令可以查看CPU的使用情况，一般UNIX操作系统的服务器，可以使用sar_u命令查看CPU的使用率，NT操作系统的服务器，可以使用NT的性能管理器来查看CPU的使用率。
数据库管理员可以通过查看v$sysstat数据字典中的“CPUusedbythissession”统计项得知ORACLE数据库使用的CPU时间，查看“OSUserlevelCPUtime”统计项得知操作系统用户态下的CPU时间，查看“OSSystemcallCPUtime”统计项得知操作系统系统态下的CPU时间，操作系统总的CPU时间就是用户态和系统态时间之和。如果ORACLE数据库使用的CPU时间占操作系统总的CPU时间90%以上，说明服务器CPU基本上被ORACLE数据库使用着，这是合理的；反之，说明服务器CPU被其他程序占用过多，ORACLE数据库无法获得更多的CPU时间。
数据库管理员还可以通过查看v$sesstat数据字典来获得当前连接ORACLE数据库各个会话占用的CPU时间，从而得知哪些会话耗用服务器CPU较多。
出现CPU资源不足的情况是常见的：SQL语句的重解析、低效率的SQL语句、锁冲突都可能导致CPU资源不足。
1、数据库管理员可以执行以下语句来查看SQL语句的解析情况：
SELECT*FROMV$SYSSTATWHERENAMEIN
('parsetimecpu','parsetimeelapsed','parsecount(hard)');
这里parsetimecpu是系统服务时间，parsetimeelapsed是响应时间，用户等待时间，waitetime=parsetimeelapsed_parsetimecpu
由此可以得到用户SQL语句平均解析等待时间=waitetime/parsecount。这个平均等待时间应该接近于0，如果平均解析等待时间过长，数据库管理员可以通过以下语句
SELECTSQL_TEXT,PARSE_CALLS,EXECUTIONSFROMV$SQLAREA
ORDERBYPARSE_CALLS;
来发现哪些SQL语句解析效率较低。程序员可以优化这些语句，或者增加ORACLE参数SESSION_CACHED_CURSORS的值。
2、数据库管理员还可以通过以下语句：
SELECTBUFFER_GETS,EXECUTIONS,SQL_TEXTFROMV$SQLAREA;
查看低效率的SQL语句，优化这些语句也有助于提高CPU的利用率。
3、数据库管理员可以通过v$system_event数据字典中的“latchfree”统计项查看ORACLE数据库的冲突情况，如果没有冲突，则latchfree查询结果为空。如果冲突较大，数据库管理员可以降低spin_count参数值，以消除高CPU使用率。
五、内存参数的调整
内存参数的调整主要是指ORACLE数据库的系统全局区(SGA)的调整。SGA主要由三部分构成：共享池、数据缓冲区、日志缓冲区。
1、共享池由两部分构成：共享SQL区和数据字典缓冲区，共享SQL区是存放用户SQL命令的区域，数据字典缓冲区存放数据库运行的动态信息。数据库管理员通过执行以下语句：
select(sum(pins-reloads))/sum(pins)"LibCache"fromv$librarycache;
来查看共享SQL区的使用率。这个使用率应该在90%以上，否则需要增加共享池的大小。数据库管理员还可以执行以下语句：
select(sum(gets-getmisses-usage-fixed))/sum(gets)"RowCache"fromv$rowcache;
查看数据字典缓冲区的使用率，这个使用率也应该在90%以上，否则需要增加共享池的大小。
2、数据缓冲区。数据库管理员可以通过以下语句：
SELECTname,valueFROMv$sysstatWHEREnameIN('dbblockgets','consistentgets','physicalreads');
来查看数据库数据缓冲区的使用情况。查询结果可以计算出数据缓冲区的使用命中率=1-(physicalreads/(dbblockgets+consistentgets))。
这个命中率应该在90%以上，否则需要增加数据缓冲区的大小。
3、日志缓冲区。数据库管理员可以通过执行以下语句：
selectname,valuefromv$sysstatwherenamein('redoentries','redologspacerequests');
查看日志缓冲区的使用情况。查询结果可以计算出日志缓冲区的申请失败率：
申请失败率=requests/entries，申请失败率应该接近于0，否则说明日志缓冲区开设太小，需要增加ORACLE数据库的日志缓冲区。
昆明北大青鸟java培训班转载自网络，如侵权请联系我们，感谢您的关注，谢谢支持！
大数据数仓建设性能优化方案
大数据数仓的性能优化主要围绕以下四个方面：
大数据数仓性能提升的关键集中在以下四个核心领域：
在构建数据仓库的流程中，我们不可避免地要执行数据操作，那么这些操作如何设置才能达到最佳效果呢？若任务调度设置不当，可能会导致瓶颈任务的出现，或无法及时满足业务需求的数据供应，此时我们首先应从调度角度入手，审视是否某些任务的调度时间或优先级设定不合理？
就数仓建模而言，大致可分为第三范式（3NF）建模与维度建模。建议采用维度建模，采用星型模型或雪花模型进行架构设计。相较于3NF或实体建模，维度建模的性能略逊一筹，但能避免数据冗余，并具备更好的扩展性。维度建模虽存在一定数据冗余，且冗余程度较高，但对于上层用户而言，其易用性和查询性能均更胜一筹，虽然牺牲了部分可扩展性，但仍在可接受范围内。在大数据框架下推荐使用维度建模，因其产生的数据冗余对离线数仓的存储成本影响不大，因为其存储介质多为成本较低的SATA盘。
总之，在大数据框架下，推荐采用维度建模，使用星型模型或雪花模型进行架构设计，这对后续运维和数据使用都更为便利，且性能更优。星型模型以一个事实表为中心，周围环绕着多个维度表，结构简单，易于使用，性能良好；雪花模型则可能包含更多维度表之间的关联，相较于星型模型，其结构更为复杂。实际上，星型模型可以看作是较为简单的雪花模型。在此推荐使用星型模型，当然，若业务复杂度极高，雪花模型也可考虑。这是因为星型模型虽存在数据冗余，但结构简单，易于理解，且使用便捷，只需A传给B，无需再关联C。
除上述两个关键点外，还有一些细节需要注意，如中间表的使用。通常将数仓分为三层：缓冲层、整合层和应用层。虽然并非严格的三层结构，但中间层可能存在一些中间表，用于存储中间计算结果，合理利用中间表可增强数仓易用性和整体性能。中间表主要应用于整合层，因为需要整合数据，而这些整合后的数据仍为明细数据，数据量较大，且多个下游任务依赖这些表，因此可进行轻度汇总，创建公共汇总的中间表，从而降低应用层的计算量和成本。此外，虽然建议使用中间表，但也要注意中间表的数量，因为过多中间表会导致依赖层级增多。
在某些业务场景下，我们还需对宽表进行拆分，拆分通常发生在字段较多且部分字段产出时间较晚，导致整个表交付时间延迟的情况下。此时，我们可以将部分字段单独拆分处理，避免因个别字段影响其他业务使用。
与拆分相对的是合并，随着业务增多，多个表中可能存放类似数据指标，此时，我们可以将多个表合并到一个表中，减少数据任务冗余。
表分区功能应合理利用，这对性能影响重大。一级分区通常按天划分，建议每天进行增量或全量操作。二级分区选择较为多样，首先需确定是否建立二级分区，然后选择建立方式。二级分区适用于在WHERE语句中频繁使用的字段，且该字段应为可枚举的，如部门名称等。此外，若该字段的值分布不均匀，则不建议进行二级分区。
离线数仓的计算任务主要通过SQL实现，以下仅讨论SQL优化。在数据处理、数据清洗、数据转换和加工过程中，我们都会使用到SQL。大数据体系下的SQL优化主要集中于两个方面：减少数据输入和避免数据倾斜。减少数据输入是核心，若数据输入量过大，将占用大量计算资源。数据倾斜在离线数仓中较为常见，需针对性优化。
对于已分区表，合理使用分区可过滤数据，避免全表扫描，有效降低计算数据输入。
SQL支持单次读取源数据，并将其写入多个目标表，确保只进行一次查询。语法如下：
当使用JOIN、Reduce或UDF时，先对数据进行过滤，也能有效提高任务效率。
当Map阶段发生数据倾斜时，可采取以下措施：
Join阶段倾斜的解决方案如下：
Reduce倾斜可能的情况有以下几种：
总结来说，性能调优的本质在于资源不足、资源使用不合理或任务分配不当，导致资源分配和利用不合理。
