TCP/IP網絡協議棧分為應用層（Application）、傳輸層（Transport）、網絡層（Network）和鏈路層（Link）四層。如下圖所示（該圖出自[TCPIP]）。
兩台計算機通過TCP/IP協議通訊的過程如下所示（該圖出自[TCPIP]）。
傳輸層及其以下的機制由內核提供，應用層由用戶進程提供（後面將介紹如何使用socket API編寫應用程序），應用程序對通訊數據的含義進行解釋，而傳輸層及其以下處理通訊的細節，將數據從一台計算機通過一定的路徑發送到另一台計算機。應用層數據通過協議棧發到網絡上時，每層協議都要加上一個數據首部（header），稱為封裝（Encapsulation），如下圖所示（該圖出自[TCPIP]）。
不同的協議層對數據包有不同的稱謂，在傳輸層叫做段（segment），在網絡層叫做數據報（datagram），在鏈路層叫做幀（frame）。數據封裝成幀後發到傳輸介質上，到達目的主機後每層協議再剝掉相應的首部，最後將應用層數據交給應用程序處理。
上圖對應兩台計算機在同一網段中的情況，如果兩台計算機在不同的網段中，那麼數據從一台計算機到另一台計算機傳輸過程中要經過一個或多個路由器，如下圖所示（該圖出自[TCPIP]）。
其實在鏈路層之下還有物理層，指的是電信號的傳遞方式，比如現在乙太網通用的網綫（雙絞綫）、早期乙太網採用的的同軸電纜（現在主要用於有線電視）、光纖等都屬於物理層的概念。物理層的能力決定了最大傳輸速率、傳輸距離、抗干擾性等。集綫器（Hub）是工作在物理層的網絡設備，用於雙絞綫的連接和信號中繼（將已衰減的信號再次放大使之傳得更遠）。
鏈路層有乙太網、令牌環網等標準，鏈路層負責網卡設備的驅動、幀同步（就是說從網線上檢測到什麼信號算作新幀的開始）、衝突檢測（如果檢測到衝突就自動重發）、數據差錯校驗等工作。交換機是工作在鏈路層的網絡設備，可以在不同的鏈路層網絡之間轉發數據幀（比如十兆乙太網和百兆乙太網之間、乙太網和令牌環網之間），由於不同鏈路層的幀格式不同，交換機要將進來的數據包拆掉鏈路層首部重新封裝之後再轉發。
網絡層的IP協議是構成Internet的基礎。Internet上的主機通過IP地址來標識，Internet上有大量路由器負責根據IP地址選擇合適的路徑轉發數據包，數據包從Internet上的源主機到目的主機往往要經過十多個路由器。路由器是工作在第三層的網絡設備，同時兼有交換機的功能，可以在不同的鏈路層介面之間轉發數據包，因此路由器需要將進來的數據包拆掉網絡層和鏈路層兩層首部並重新封裝。IP協議不保證傳輸的可靠性，數據包在傳輸過程中可能丟失，可靠性可以在上層協議或應用程序中提供支持。
網絡層負責點到點（point-to-point）的傳輸（這裡的“點”指主機或路由器），而傳輸層負責端到端（end-to-end）的傳輸（這裡的“端”指源主機和目的主機）。傳輸層可選擇TCP或UDP協議。TCP是一種面向連接的、可靠的協議，有點像打電話，雙方拿起電話互通身份之後就建立了連接，然後說話就行了，這邊說的話那邊保證聽得到，並且是按說話的順序聽到的，說完話掛機斷開連接。也就是說TCP傳輸的雙方需要首先建立連接，之後由TCP協議保證數據收發的可靠性，丟失的數據包自動重發，上層應用程序收到的總是可靠的數據流，通訊之後關閉連接。UDP協議不面向連接，也不保證可靠性，有點像寄信，寫好信放到郵筒裡，既不能保證信件在郵遞過程中不會丟失，也不能保證信件是按順序寄到目的地的。使用UDP協議的應用程序需要自己完成丟包重發、消息排序等工作。
目的主機收到數據包後，如何經過各層協議棧最後到達應用程序呢？整個過程如下圖所示（該圖出自[TCPIP]）。
乙太網驅動程式首先根據乙太網首部中的“上層協議”欄位確定該數據幀的有效載荷（payload，指除去協議首部之外實際傳輸的數據）是IP、ARP還是RARP協議的數據報，然後交給相應的協議處理。假如是IP數據報，IP協議再根據IP首部中的“上層協議”欄位確定該數據報的有效載荷是TCP、UDP、ICMP還是IGMP，然後交給相應的協議處理。假如是TCP段或UDP段，TCP或UDP協議再根據TCP首部或UDP首部的“連接埠號”欄位確定應該將應用層數據交給哪個用戶進程。IP地址是標識網絡中不同主機的地址，而連接埠號就是同一台主機上標識不同進程的地址，IP地址和連接埠號合起來標識網絡中唯一的進程。
注意，雖然IP、ARP和RARP數據報都需要乙太網驅動程式來封裝成幀，但是從功能上劃分，ARP和RARP屬於鏈路層，IP屬於網絡層。雖然ICMP、IGMP、TCP、UDP的數據都需要IP協議來封裝成數據報，但是從功能上劃分，ICMP、IGMP與IP同屬於網絡層，TCP和UDP屬於傳輸層。本文對RARP、ICMP、IGMP協議不做進一步介紹，有興趣的讀者可以看參考資料。