|
一個簡單的問題 首先問一個很簡單的問題，一個主板能支持多少PCI-e闆卡？每個插槽的都能插什麼PCI-e設備？ 看到這裡，你會說這個問題多簡單，能插多少PCI-e闆卡那就看什麼主板了，主板有幾個PCI-e槽就能插多少卡，每個槽多長就能插多長的卡唄。
事實是這樣麼？在這裡我們來看一個主板，SuperMICRO的C7Z270-CG(選用超微主板當例子是因為超微主板的文檔說明比較全，筆者並沒有擁有這個主板)
PCIe Bifurcation M.2 array ssd
我們從主板上可以看到，三個綠色的16X PCI-e插槽,三個黑色的1X PCI-e插槽，那麼簡單計算一下，一共應該是(16*3 + 1*3)=51X的PCI-e通道(LANE)。 但是從這個主板支持的第7代CPU Intel® Core™ i7-7700K Processor的資料來看：
這個CPU最大才支持16條PCI-e通道。 16條PCI-e通道，一個顯卡就耗光了，其他設備怎麼用的呢？這到底是怎麼回事?
為了搞清楚這個問題，我們還是需要看一下主板廠家是什麼說明的。 我們下載一下這個主板的PDF研究一下。
PCIe Bifurcation M.2 array ssd
文檔中，標識了每個插槽的編號。從上面靠近CPU開始數，是SLOT6至SLOT1，一個6個。然後每一個插槽的下方，我用紅色圈出來，分別寫著這個插槽的配置。 SLOT6，配置是CPU SLOT6 PCI-E3.0 x16，而SLOT3，配置是CPU SLOT3 PCI-E 3.0x8 (IN X16) 在這裡，聰明的你看出來了，SLOT3雖然物理上是全長的16X插槽，但是只能支持8X的信號通道。就算你插上16X的卡，也是跑在8X的信號上。(PCI-e可以上下兼容，16x的卡可以跑在1x, 2x, 4x, 8x, 16x) 同理，SLOT1的配置只能跑4X，雖然插槽形狀也是16X。所以16X的顯卡要想發揮全部威力，只能插在靠近CPU的SLOT6上，而不能插在其他槽位，否則只能跑8X(SLOT3)，或者4X(SLOT1)。 那麼，SLOT5/SLOT4/SLOT2是什麼情況？1X的槽位，速度就應該是1X吧？總不能變成4X或者8X/16X。 的確，1X的信號無法變成4X/8X/16X，但是細心的你會發現，文字描述有點不同，SLOT6/3/1的描述是CPU SLOTX PCI-E XXX，而SLOT5/4/2的描述是PCH SLOTX PCI-E XXX，PCH是什麼鬼？
什麼是PCH?我們要想弄明白上面的問題，PCH( Platform Controller Hub )是乾什麼的要弄明白。 大家可能都聽說過主板的南橋和北橋。現代主板中，北橋的大部分功能已經被INTEL集成到CPU中了，而剩下的功能，重新整合在PCH這個芯片中。
PCIe Bifurcation M.2 array ssd
上面圖中Intel H81 Express Chipset就是PCH。和CPU通過DMI（Direct Media Interface）通道連接。 PCH連接著很多設備，比如聲卡，板載網卡，SATA控制器，USB控制器，另外還能再分出來PCI接口。這麼多設備經過PCH芯片整合之後，通過4x的DMI總線和CPU互聯。 重新回來SuperMICRO的文檔，下面是主板的方塊圖。
PCIe Bifurcation M.2 array ssd
左邊從CPU分出來16條PCI-e通道，另外PCH-H通過DMI和CPU相連。 那麼左邊的CPU x16可以怎麼繼續拆分呢？看下圖：
PCIe Bifurcation M.2 array ssd
原來有好多ASMedia Switch 1480芯片，可以將16x分成兩個x8+x8, 或者拆分成x8+x4+x4。也就是說，一旦你使用了SLOT1/3的插槽，那麼SLOT6就不是x16了，而是x8。
而SLOT2/4/5的插槽，則通過PCH交換出來，和其他很多設備共享DMI x4的PCI-e帶寬。
到這裡，你應該能的出來結論，要想讓SLOT6的x16插槽滿血，那麼SLOT1/3就不能插任何設備。同樣，如果你想要PCI-e的設備，比如NVMe SSD滿血，那麼就不能插到板載那個M2 NVMe口，而是單獨通過PCI-e轉換卡插到SLOT1/3/6上面，因為那樣子可以直連CPU，時延和性能都能最優。
另外，你也看到從CPU直接出來的PCI-e只有x16，那麼如果你同時擁有x16的顯卡，和x4的NVMe硬盤，那麼就無法將兩者同時最佳化，必須有所取捨。或者換用PCI通道更多的CPU，比如LGA2066平台。
大家看到家用平台的CPU，PCI-e通道非常少。相反，工作站或者服務器CPU就不同了，PCI-e通道非常多。我們拿一個好幾年前的CPU做例子，XEON E5-2680V3看一下。
PCIe Bifurcation M.2 array ssd
2014年Q3發布的CPU
PCIe Bifurcation M.2 array ssd
一共有40 PCI-e個通道。如果是雙槽CPU主板，那麼將達到驚人的80個PCI-e通道！這還是幾年前的CPU。看一下最近發布的XEON scalable 白金8180
PCIe Bifurcation M.2 array ssd
可能會比較失望，PCI-e通道才比E5 2680V3多8，48條。
講了這麼多PCI-e的事情，回到我們的標題，Bifurcation：PCI-e通道拆分 舉一個簡單的例子：你的NVMe SSD，一般都是PCIe 4x，如果你的x16槽，能拆分一下變成4個4x，那麼將可以支持4個SSD，並且4個SSD可以同時滿血運作，那該多好！或者說x8的插槽，通過拆分可以變成兩個4x，這樣子就可以用2個SSD了！
PCI拆分本來是服務器主板的一個功能，現在下放到民用主板了。支持PCIe拆分的卡，目前有很多，比如ASUS hyper m.2 x16 card
PCIe Bifurcation M.2 array ssd
ASRock的ULTRA QUAD M.2 CARD
PCIe Bifurcation M.2 array ssd
還有超微的AOC-SLG3-2M2，支持8x變成兩個4x拆分
PCIe Bifurcation M.2 array ssd
ASUS的這個卡，在支持PCI Bifurcation的主板上，可以將4個SSD同時識別，同時工作。在ZFS等環境中，將獲得最大的性能。
當然，這個功能需要主板支持才可以使用。 接下來就是大家常見的問題：我的主板支持這個功能麼?如果支持的話，怎麼才能正確設置？
第一個問題，就是要確認主板是否支持。這個問題查詢一下主板廠家的文檔即可。比如超微的主板，X10系列之後(包括X10)，都是支持拆分的。X9系列的X9DRi-LN4F也有人說可以，我還沒測試成功。
我拿SuperMICRO X10DRL這個主板來舉例子，說一下怎麼開啟這個功能。下面是主板的外觀圖。
PCIe Bifurcation M.2 array ssd
這個主板有一個16x插槽，插槽編號是SLOT5。
PCIe Bifurcation M.2 array ssd
看一下主板的Block圖，SLOT5是連接到CPU1上。編號是#3 (這個編號很重要，BIOS中設置時需要使用)
PCIe Bifurcation M.2 array ssd
有了這些信息，接下來我們進入BIOS設置界面，選高級設置選項。
PCIe Bifurcation M.2 array ssd
進入Chipset配置
PCIe Bifurcation M.2 array ssd
進入北橋選項
PCIe Bifurcation M.2 array ssd
再進入IIO配置
PCIe Bifurcation M.2 array ssd
裡面有很多拆分配置。大家可能在這裡就不知道選哪個，搞不明白。 剛才我們從文檔中得到的信息，SLOT5是編號3，所以我們在這裡找到IOU1(IIO PCIe Port3)，將auto改成x4x4x4x4即可。
PCIe Bifurcation M.2 array ssd
保存之後重新啟動機器，就可以將4個SSD正確識別！ 其他型號的主板，由於筆者沒有相關的環境，所以還需要大家自己學會看文檔搞定。
文章出處
| 
IP卡
發表於 2021-5-6 17:17:50
提升卡
置頂卡(一天)
沉默卡
喧囂卡
變色卡
顯身卡