本博文主要討論I/O在底層是如何工作的。本文服務(wù)的讀者，迫切希望了解Java I/O操作是在機(jī)器層面如何進(jìn)行映射，以及應(yīng)用運(yùn)行時硬件都做了什么。假定你熟悉基本的I/O操作，比如通過Java I/O API讀寫文件。這些內(nèi)容不在本文的討論范圍。

　緩存處理和內(nèi)核vs用戶空間

緩沖與緩沖的處理方式,是所有I/O操作的基礎(chǔ)。術(shù)語“輸入、輸出”只對數(shù)據(jù)移入和移出緩存有意義。任何時候都要把它記在心中。通常，進(jìn)程執(zhí)行操作系統(tǒng)的I/O請求包括數(shù)據(jù)從緩沖區(qū)排出（寫操作）和數(shù)據(jù)填充緩沖區(qū)（讀操作）。這就是I/O的整體概念。在操作系統(tǒng)內(nèi)部執(zhí)行這些傳輸操作的機(jī)制可以非常復(fù)雜，但從概念上講非常簡單。我們將在文中用一小部分來討論它。

上圖顯示了一個簡化的“邏輯”圖，它表示塊數(shù)據(jù)如何從外部源，例如一個磁盤，移動到進(jìn)程的存儲區(qū)域（例如RAM）中。首先，進(jìn)程要求其緩沖通過read()系統(tǒng)調(diào)用填滿。這個系統(tǒng)調(diào)用導(dǎo)致內(nèi)核向磁盤控 制硬件發(fā)出一條命令要從磁盤獲取數(shù)據(jù)。磁盤控制器通過DMA直接將數(shù)據(jù)寫入內(nèi)核的內(nèi)存緩沖區(qū)，不需要主CPU進(jìn)一步幫助。當(dāng)請求read()操作時，一旦磁盤控制器完成了緩存的填 寫，內(nèi)核從內(nèi)核空間的臨時緩存拷貝數(shù)據(jù)到進(jìn)程指定的緩存中。

有一點(diǎn)需要注意，在內(nèi)核試圖緩存及預(yù)取數(shù)據(jù)時，內(nèi)核空間中進(jìn)程請求的數(shù)據(jù)可能已經(jīng)就緒了。如果這樣，進(jìn)程請求的數(shù)據(jù)會被拷貝出來。如果數(shù)據(jù)不可用，則進(jìn)程被掛起。內(nèi)核將把數(shù)據(jù)讀入內(nèi)存。

　虛擬內(nèi)存

你可能已經(jīng)多次聽說過虛擬內(nèi)存了。讓我再介紹一下。

所有現(xiàn)代操作系統(tǒng)都使用虛擬內(nèi)存。虛擬內(nèi)存意味著人工或者虛擬地址代替物理（硬件RAM）內(nèi)存地址。虛擬地址有兩個重要優(yōu)勢：

多個虛擬地址可以映射到相同的物理地址。一個虛擬地址空間可以大于實(shí)際可用硬件內(nèi)存。

在上面介紹中，從內(nèi)核空間拷貝到最終用戶緩存看起來增加了額外的工作。為什么不告訴磁盤控制器直接發(fā)送數(shù)據(jù)到用戶空間的緩存呢？好吧，這是由虛擬內(nèi)存實(shí)現(xiàn)的。用到了上面的優(yōu)勢1。

通過將內(nèi)核空間地址映射到相同的物理地址作為一個用戶空間的虛擬地址，DMA硬件（只能方位物理內(nèi)存地址）可以填充緩存。這個緩存同時對內(nèi)核和用戶空間進(jìn)程可見。

這就消除了內(nèi)核和用戶空間之間的拷貝，但是需要內(nèi)核和用戶緩沖區(qū)使用相同的頁面對齊方式。緩沖區(qū)必須使用的塊大小的倍數(shù)磁盤控制器（通常是512字節(jié)的磁盤扇區(qū)）。操作系統(tǒng)將其內(nèi)存地址空間劃分為頁面，這是固定大小的字節(jié)組。這些內(nèi)存頁總是磁盤塊大小的倍數(shù)和通常為2倍（簡化尋址）。典型的內(nèi)存頁面大小是1024、2048和4096字節(jié)。虛擬和物理內(nèi)存頁面大小總是相同的。

　內(nèi)存分頁

為了支持虛擬內(nèi)存的第2個優(yōu)勢（擁有大于物理內(nèi) 存的可尋址空間）需要進(jìn)行虛擬內(nèi)存分頁（通常稱為頁交換）。這種機(jī)制憑借虛擬內(nèi)存空間的頁可以持久保存在外部磁盤存儲，從而為其他虛擬頁放入物理內(nèi)存提供了空間。本質(zhì)上講，物理內(nèi)存擔(dān)當(dāng)了分頁區(qū)域的緩存。分頁區(qū)是磁盤上的空間，內(nèi)存頁的內(nèi)容被強(qiáng)迫交換出物理內(nèi)存時會保存到這里。

調(diào)整內(nèi)存頁面大小為磁盤塊大小的倍數(shù)，讓內(nèi)核可以直接發(fā)送指令到磁盤控制器硬件，將內(nèi)存頁寫到磁盤或者在需要時重新加載。事實(shí)證明，所有的磁盤I/O操作都是在頁面級別上完成的。這是數(shù)據(jù)在現(xiàn)代分頁操作系統(tǒng)上在磁盤與物理內(nèi)存之間移動的唯一方式。

現(xiàn)代CPU包含一個名為內(nèi)存管理單元（MMU）的子系統(tǒng)。這 個設(shè)備邏輯上位于CPU與物理內(nèi)存之間。它包含從虛擬地址向物理內(nèi)存地址轉(zhuǎn)化的映射信息。當(dāng)CPU引用一個內(nèi)存位置時，MMU決定哪些頁需要駐留（通常通過移位或屏蔽地址的某些位）以及轉(zhuǎn)化虛擬頁號到物理頁號（由硬件實(shí)現(xiàn)，速度奇快）。

　面向文件、塊I/O

文件I/O總是發(fā)生在文件系統(tǒng)的上下文切換中。文件系統(tǒng)跟磁盤是完全不同的事物。磁盤按段存儲數(shù)據(jù)，每段512字節(jié)。它是硬件設(shè)備，對保存的文件語義一無所知。它們只是提供了一定數(shù)量的可以保存數(shù)據(jù)的插槽。從這方面來說，一個磁盤的段與 內(nèi)存分頁類似。它們都有統(tǒng)一的大小并且是個可尋址的大數(shù)組。

另一方面，文件系統(tǒng)是更高層抽象。文件系統(tǒng)是安排和翻譯保存磁盤（或其它可隨機(jī)訪問，面向塊的設(shè)備）數(shù)據(jù)的一種特殊方法。你寫的代碼幾乎總是與文件系統(tǒng)交互，而不與磁盤直接交互。文件系統(tǒng)定義了文件名、路徑、文件、文件屬性等抽象。

一個文件系統(tǒng)組織（在硬盤中）了一系列均勻大小的數(shù)據(jù)塊。有些塊保存元信息，如空閑塊的映射、目錄、索引等。其它塊包含實(shí)際的文件數(shù)據(jù)。單個文件的元信息描述哪些塊包含文件數(shù)據(jù)、數(shù)據(jù)結(jié)束位置、最后更新時間等。當(dāng)用戶進(jìn)程發(fā)送請求來讀取文件數(shù)據(jù)時，文件系統(tǒng)實(shí)現(xiàn)準(zhǔn)確定位數(shù)據(jù)在磁盤上的位置。然后采取行動將這些磁盤扇區(qū)放入內(nèi)存中。

文件系統(tǒng)也有頁的概念，它的大小可能與一個基本內(nèi)存頁面大小相同或者是它的倍數(shù)。典型的文件系統(tǒng)頁面大小范圍從2048到8192字節(jié)，并且總是一個基本內(nèi)存頁面大小的倍數(shù)。

分頁文件系統(tǒng)執(zhí)行I/O可以歸結(jié)為以下邏輯步驟：

確定請求跨越了哪些文件系統(tǒng)分頁（磁盤段的集合）。磁盤上的文件內(nèi)容及元數(shù)據(jù)可能分布在多個文件系統(tǒng)頁面上，這些頁面可能是不連續(xù)的。分配足夠多的內(nèi)核空間內(nèi)存頁面來保存相同的文件系統(tǒng)頁面。建立這些內(nèi)存分頁與磁盤上文件系統(tǒng)分頁的映射。對每一個內(nèi)存分頁產(chǎn)生分頁錯誤。虛擬內(nèi)存系統(tǒng)陷入分頁錯誤并且調(diào)度pagins（頁面調(diào)入），通過從磁盤讀取內(nèi)容來驗(yàn)證這些頁面。一旦pageins完成，文件系統(tǒng)分解原始數(shù)據(jù)來提取請求的文件內(nèi)容或?qū)傩孕畔ⅰ?p>需要注意的是，這個文件系統(tǒng)數(shù)據(jù)將像其它內(nèi)存頁一樣被緩存起來。在隨后的I/O請求中，一些數(shù)據(jù)或所有文件數(shù)據(jù)仍然保存在物理內(nèi)存中，可以直接重用不需要從磁盤重讀。

　文件鎖定

文件加鎖是一種機(jī)制，一個進(jìn)程可以阻止其它進(jìn)程訪問一個文件或限制其它進(jìn)程訪問該文件。雖然名為“文件鎖定”，意味著鎖定整個文件（經(jīng)常做的）。鎖定通常可以在一個更細(xì)粒度的水平。隨著粒度下降到字節(jié)級，文件的區(qū)域通常會被鎖定。鎖與特定文件相關(guān)聯(lián)，起始于文件的指定字節(jié)位置并運(yùn)行到指定的字節(jié)范圍。這一點(diǎn)很重要，因?yàn)樗试S多個進(jìn)程協(xié)作訪問文件的特定區(qū)域而不妨礙別的進(jìn)程在文件其它位置操作。

文件鎖有兩種形式：共享和獨(dú)占。多個共享鎖可以同時在相同的文件區(qū)域有效。另一方面，獨(dú)占鎖要求沒有其它鎖對請求的區(qū)域有效。

　流I/O

并非所有的I/O是面向塊的。還有流I/O，它是管道的原型，必須順序訪問I/O數(shù)據(jù)流的字節(jié)。常見的數(shù)據(jù)流有TTY（控制臺）設(shè)備、打印端口和網(wǎng)絡(luò)連接。

數(shù)據(jù)流通常但不一定比塊設(shè)備慢，提供間歇性輸入。大多數(shù)操作系統(tǒng)允許在非阻塞模式下工作。允許一個進(jìn)程檢查數(shù)據(jù)流的輸入是否可用，不必在不可用時發(fā)生阻塞。這種管理允許進(jìn)程在輸入到達(dá)時進(jìn)行處理，在輸入流空閑時可以執(zhí)行其他功能。

比非阻塞模式更進(jìn)一步的是有條件的選擇（readiness selection）。它類似于非阻塞模式（并且通常建立在非阻塞模式基礎(chǔ)上），但是減輕了操作系統(tǒng)檢查流是否就緒準(zhǔn)的負(fù)擔(dān)。操作系統(tǒng)可以被告知觀察流集合，并向進(jìn)程返回哪個流準(zhǔn)備好的指令。這種能力允許進(jìn)程通過利用操作系統(tǒng)返回 的準(zhǔn)備信息，使用通用代碼和單個線程復(fù)用多個活動流。這種方式被廣泛用于網(wǎng)絡(luò)服務(wù)器，以便處理大量的網(wǎng)絡(luò)連接。準(zhǔn)備選擇對于大容量擴(kuò)展是至關(guān)重要的。

到此為止，對這個非常復(fù)雜的話題有一大堆技術(shù)術(shù)語。

如果你有想法和疑問，請給給我發(fā)評論。

學(xué)習(xí)快樂?。?/p>

原文鏈接：howtodoinjava 翻譯：ImportNew