CPU 由運算器和控制器兩部分組成。
運算器是計算機對數據進行加工處理的中心，它主要由算術邏輯部件（ALU：Arithmetic and Logic Unit）、寄存器組和狀態寄存器組成。ALU 主要完成對二進制信息的定點算術運算、邏輯運算和各種移位操作。通用寄存器組用來保存參加運算的操作數和運算的中間結果。狀態寄存器在不同的機器中有不同的規定，程序中，狀態位通常作為轉移指令的判斷條件。
控制器是計算機的控制中心，它決定了計算機運行過程的自動化。它不僅要保證程序的正確執行，而且要能夠處理異常事件。控制器一般包括指令控制邏輯、時序控制邏輯、總線控制邏輯、中斷控制邏輯等幾個部分。
除了運算器和控制器這兩個核心部件外，CPU 通常還包含高速緩沖存儲器、內部數據總線、控制總線及輸入 / 輸出接口等模塊。不同類型的 CPU，其內部寄存器的種類、數量以及寄存器存儲的數值范圍也有所不同。
在 CPU 中，寄存器也起著重要作用。寄存器可分為用戶可見寄存器和控制狀態寄存器。控制狀態寄存器（如存儲器地址寄存器 MAR、存儲區數據寄存器 MDR、程序計數器 PC、指令寄存器 IR 等）對用戶不透明，而通用寄存器可用于存放操作數，或作為滿足某種尋址方式所需的寄存器。
總之，運算器和控制器共同協作，完成對指令的處理、執行操作、控制時間以及處理數據等任務，是 CPU 正常工作的關鍵組成部分。