CPU 主要由運算器、控制器和寄存器三部分組成。
運算器是計算機對數據進行加工處理的中心，它主要由算術邏輯部件（ALU：Arithmetic and Logic Unit）、寄存器組和狀態寄存器組成。其中，算術邏輯部件可完成各種算術運算（如加、減、乘、除等）和邏輯運算（如與、或、非、異或等）；寄存器組用于暫存數據；狀態寄存器用于存放狀態標志與控制標志。
控制器是計算機的控制中心，它決定了計算機運行過程的自動化。控制器一般包括指令控制邏輯、時序控制邏輯、總線控制邏輯、中斷控制邏輯等幾個部分。它負責解釋計算機指令、管理數據流、控制其他組件的操作，并在需要時執行錯誤處理。控制器可以從存儲器中取出指令，對指令進行分析解釋，然后產生相應的控制信號來協調和控制其他部件的工作，如控制運算器進行運算、訪問寄存器或內存等。
寄存器是一種高速的存儲設備，用于臨時存儲 CPU 需要處理的數據。CPU 中有多個寄存器，包括通用寄存器、數據寄存器、地址寄存器、狀態寄存器（有時也稱 “標志寄存器”“條件碼寄存器”）、控制寄存器（如程序計數器 PC、存儲器地址寄存器 MAR、存儲器數據寄存器 MDR、指令寄存器 IR 等）。寄存器具有很高的讀寫速度，可以大大提高計算機的性能。
除了上述三個主要部分外，隨著集成電路的不斷發展，現代 CPU 還可能集成了一些其他功能部件，如浮點處理器、高速緩存（Cache）等，這些部件也對 CPU 的性能和功能起著至關重要的作用。