OLTP 和 OLAP 介紹

數(shù)據(jù)處理大致可以分為兩大類：OLTP（在線事務(wù)處理）和OLAP（在線分析處理）。OLTP 是傳統(tǒng)關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要用于基礎(chǔ)和日常事務(wù)處理，例如銀行事務(wù)。OLAP 是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用。支持復(fù)雜的分析操作，專注于決策支持，提供直觀易懂的查詢結(jié)果。

OLTP系統(tǒng)強調(diào)數(shù)據(jù)庫內(nèi)存效率，強調(diào)內(nèi)存各項指標(biāo)的命令率，強調(diào)綁定變量，強調(diào)并發(fā)操作；

OLAP 系統(tǒng)強調(diào)數(shù)據(jù)分析、SQL 執(zhí)行市場、磁盤 I/O 和分區(qū)。

OLTP 和 OLAP 的比較：

OLTP，也叫在線事務(wù)處理（Online Transaction Processing），是指具有非常高的事務(wù)處理能力的系統(tǒng)，一般都是高可用的在線系統(tǒng)，專注于小事務(wù)和小查詢。在評估他們的系統(tǒng)時，通常會查看它們。每秒執(zhí)行的事務(wù)和執(zhí)行 SQL 的數(shù)量。在這樣的系統(tǒng)中，單個數(shù)據(jù)庫每秒處理幾百、幾千個事務(wù)，Select語句的執(zhí)行量每秒幾千甚至幾萬。典型的OLTP系統(tǒng)包括電子商務(wù)系統(tǒng)、銀行、證券等，例如美國eBay的業(yè)務(wù)數(shù)據(jù)庫就是典型的OLTP數(shù)據(jù)庫。

OLTP 系統(tǒng)中*容易出現(xiàn)瓶頸的是 CPU 和磁盤子系統(tǒng)。

例如將計算結(jié)果保存到統(tǒng)計表中。適當(dāng)?shù)姆椒ā?/p>

（2）在OLTP環(huán)境下，磁盤子系統(tǒng)的承載能力一般取決于其IOPS處理能力。因為在OLTP環(huán)境下，物理磁盤讀取一般是db文件順序讀取，即單塊讀取。但是，讀取的次數(shù)非常頻繁，如果磁盤子系統(tǒng)不能頻繁承載其IOPS，則會出現(xiàn)很大的性能問題。

OLTP比較常用的設(shè)計和優(yōu)化方法是Cache技術(shù)和B-tree索引技術(shù)。緩存決定了很多語句不需要從磁盤子系統(tǒng)獲取數(shù)據(jù)。因此，Web 緩存和 Oracle 數(shù)據(jù)緩沖區(qū)對于 OLTP 系統(tǒng)非常重要。另外，在索引使用方面，語句越簡單越好，這樣執(zhí)行計劃就穩(wěn)定了數(shù)據(jù)處理模板的翻譯，必須使用綁定變量，減少語句解析，減少表關(guān)聯(lián)，減少分布式事務(wù)，基本不使用分區(qū)技術(shù)或MV技術(shù)。、并行技術(shù)和位圖索引。由于并發(fā)量高，批量更新應(yīng)該分批快速提交，避免阻塞。

OLTP系統(tǒng)是一個數(shù)據(jù)塊變化非常頻繁，SQL語句提交非常頻繁的系統(tǒng)。對于數(shù)據(jù)塊，數(shù)據(jù)塊應(yīng)該盡可能地保存在內(nèi)存中。對于SQL，應(yīng)盡量使用變量綁定技術(shù)，實現(xiàn)SQL復(fù)用，減少物理I/O和重復(fù)SQL解析，從而大大提高數(shù)據(jù)庫的性能。

除了綁定變量，這里的性能影響也可能是熱塊。當(dāng)一個塊被多個用戶同時讀取時，Oracle需要使用Latch來序列化用戶操作，以保持?jǐn)?shù)據(jù)的一致性。當(dāng)一個用戶獲得鎖存器時，其他用戶只能等待。獲得這個數(shù)據(jù)塊的用戶越多，等待的就越明顯。這就是散熱快的問題。這個hot flash可能是一個數(shù)據(jù)塊，也可能是一個回滾結(jié)束塊。對于數(shù)據(jù)塊，通常是由于數(shù)據(jù)庫中數(shù)據(jù)分布不均造成的。如果是索引數(shù)據(jù)塊，可以考慮創(chuàng)建倒排索引，以達(dá)到重新分配數(shù)據(jù)的目的。對于回滾段數(shù)據(jù)塊，可以適當(dāng)增加幾個回滾段來避免這種爭用。

OLAP，也叫在線分析處理（Online Analytical Processing）系統(tǒng)，有時也叫DSS決策支持系統(tǒng)，就是我們所說的數(shù)據(jù)倉庫。在這樣的系統(tǒng)中，一條語句的執(zhí)行量并不是一個評價標(biāo)準(zhǔn)，因為一條語句的執(zhí)行時間可能很長，讀取的數(shù)據(jù)也很大。因此，在這樣的系統(tǒng)中，考核標(biāo)準(zhǔn)往往是磁盤子系統(tǒng)的吞吐量（帶寬），比如可以達(dá)到多少MB/s的流量。

磁盤子系統(tǒng)的吞吐量通常取決于磁盤的數(shù)量。這時候Cache基本無效，數(shù)據(jù)庫的讀寫類型基本都是db文件分散讀和直接路徑讀/寫。應(yīng)該盡量使用比較多的磁盤和比較大的帶寬，比如4Gb的光纖接口。

在 OLAP 系統(tǒng)中，經(jīng)常使用分區(qū)技術(shù)和并行技術(shù)。

OLAP系統(tǒng)中分區(qū)技術(shù)的重要性主要體現(xiàn)在數(shù)據(jù)庫管理上。例如，可以通過分區(qū)交換來實現(xiàn)數(shù)據(jù)庫加載，通過備份分區(qū)表空間來實現(xiàn)備份，通過分區(qū)來刪除被刪除的數(shù)據(jù)。至于分區(qū)的性能，可以讓一些大表的掃描速度非常快（只掃描單個分區(qū)）。另外，如果分區(qū)結(jié)合并行，整個表的掃描可以變得非?？臁？傊謪^(qū)的主要功能是方便管理，它并不能絕對保證查詢性能的提升，分區(qū)有時會帶來性能提升，有時會降低。

除了并行技術(shù)和分區(qū)技術(shù)的結(jié)合，在Oracle 10g中，結(jié)合RAC實現(xiàn)多節(jié)點同時掃描，效果也很好。一個任務(wù)，比如select的全表掃描，可以平均分配到多個RAC節(jié)點上去。

在OLAP系統(tǒng)中數(shù)據(jù)處理模板的翻譯，不需要使用綁定（BIND）變量，因為整個系統(tǒng)的執(zhí)行量很小，對于執(zhí)行時間可以忽略分析時間，可以避免錯誤的執(zhí)行計劃。但是，位圖索引和物化視圖可以在 OLAP 中廣泛使用。對于大交易，盡量尋求速度優(yōu)化。不需要像OLTP那樣要求快速提交，甚至可以故意放慢執(zhí)行速度。

綁定變量的真正用途是在 OLTP 系統(tǒng)中。該系統(tǒng)通常具有并發(fā)用戶數(shù)非常大，用戶請求非常密集，并且這些請求的大部分SQL可以重用的特點。

對于OLAP系統(tǒng)，數(shù)據(jù)庫大部分時間在運行報表作業(yè)，執(zhí)行的基本都是聚合SQL操作，比如group by。這時候，將優(yōu)化器模式設(shè)置為all_rows比較合適。對于一些分頁操作較多的網(wǎng)站數(shù)據(jù)庫，*好設(shè)置為first_rows。但有時對于OLAP系統(tǒng)，當(dāng)我們有分頁時，我們可以考慮在每個SQL中使用提示。喜歡：

從表a中選擇a.*；

分離設(shè)計和優(yōu)化

在設(shè)計上要特別注意，比如在高可用的OLTP環(huán)境中，不要盲目使用OLAP技術(shù)。

比如分區(qū)技術(shù)，假設(shè)不大規(guī)模使用分區(qū)鍵，而使用其他字段作為where條件，那么如果是本地索引，就得掃描多個索引，性能會變得甚至更低。如果是全局索引，就失去了分區(qū)的意義。

并行技術(shù)也是如此。一般在完成大型任務(wù)時使用。比如在現(xiàn)實生活中，翻譯一本書，可以安排多人翻譯不同的章節(jié)，這樣可以提高翻譯速度。如果只是翻譯一頁書，指派不同的人翻譯不同的行，然后組合起來，沒有必要，因為在分配的工作時間內(nèi)，一個人可能早就完成了翻譯。

位圖索引也是一樣，如果用在OLTP環(huán)境中，很容易造成阻塞和死鎖。但是，在OLAP環(huán)境中，OLAP的查詢速度可能因其獨特的特性而得到提升。MV基本相同，包括trigger等，在DML頻繁的OLTP系統(tǒng)上，很容易成為瓶頸，甚至Library Cache等待，而在OLAP環(huán)境中，可能會因為使用得當(dāng)而提高查詢速度。

對于 OLAP 系統(tǒng)，內(nèi)存中幾乎沒有優(yōu)化空間。提高CPU處理速度和磁盤I/O速度是提高數(shù)據(jù)庫性能*直接的方法。當(dāng)然，這也意味著系統(tǒng)成本的增加。

比如我們要聚合上億或者上億的數(shù)據(jù)，在內(nèi)存中操作這么海量的數(shù)據(jù)是很困難的，也是沒有必要的，因為這些數(shù)據(jù)很少被復(fù)用和緩存。它沒有實際意義，而且還會造成相當(dāng)大的物理 I/O。所以這種系統(tǒng)的瓶頸往往是磁盤I/O。

對于OLAP系統(tǒng)，由于數(shù)據(jù)量大，SQL的優(yōu)化非常重要，全表掃描和索引的性能差異非常大。

其他

Oracle 10g之前的版本在構(gòu)建數(shù)據(jù)庫的過程中可以選擇的模板有：

數(shù)據(jù)倉庫

通用（General Purpose，General Purpose）

新建數(shù)據(jù)庫

事務(wù)處理

Oracle 11g版本的數(shù)據(jù)庫構(gòu)建過程中可以選擇的模板有：

通用或事務(wù)處理

自定義數(shù)據(jù)庫

數(shù)據(jù)庫

個人對這些模板的理解是：

在線分析處理（OLAP，On-line Analytical Processing），數(shù)據(jù)量大，DML少。使用數(shù)據(jù)倉庫模板

在線事務(wù)處理（OLTP，On-line Transaction Processing），數(shù)據(jù)量小，DML頻繁，并行事務(wù)很多，但一般都很短。使用通用或事務(wù)處理模板。

決策支持系統(tǒng)（DDS，Decision support system），典型的操作是全表掃描、長查詢、長事務(wù)，但一般事務(wù)的數(shù)量很少，往往是事務(wù)獨占系統(tǒng)。