L'idea di un calcolatore avente una qualche similitudine con quelli attuali si puo' far risalire al matematico inglese Charles Babbage (1792-1871) il quale costruì una macchina analitica (analytical engine) che si basava su elementi e principi che furono fondamentali poi per concepire il moderno calcolatore:
- Riduzione del lavoro ad operazione elementari
- Automazione delle operazioni
- Controllo del funzionamento della macchina mediante un programma.
Negli anni '30 la ricerca per realizzazione di macchine di calcolo automatico riprende in modo significativo: accanto agli studi sperimentali condotti dagli scienziati americani Aiken, Atanasoff e Stibitz ed al tedesco Zuse che lavorarono, ognuno all'insaputa dell'altro alla realizzazione di una macchina numerica programmabile, di fondamentale importanza in campo teorico furono gli studi dei matematici Turing e Post, i quali, anch'essi in modo indipendente, idearono nel 1936 due macchine astratte che presero poi il nome di macchina di Turing-Post.
Queste macchine sarebbero state in grado di eseguire un processo di calcolo in base ad un adeguato programma, ma non erano altro che modelli matematici, e non vennero mai costruite. La loro importanza però sta nel fatto che costituirono le basi concettuali che hanno portato alla realizazione dei moderni calcolatori.
I limiti della macchina di Turing-Post erano i seguenti:
- Avrebbe dovuto avere una memoria illimitata
- La macchina era legata al problema, perchè era concepita per una sola logica. Perciò una macchina diversa per ogi diverso problema.
- Non aveva nessuna possibilità di colloquiare con operatori esterni.

Negli anni '40 venne realizzato il primo calcolatore elettronico completo e funzionante nel mondo, l' ENIAC (Electronic Numerical Integrator And Computer). Era di dimensioni enormi (30 mt di lunghezza e 2,5 di altezza) e programmabile mediante cavi commutatori che comunque rendevano l'operazione alquanto faticosa.
Sempre in quegli anni, lo scienziato John Von Neumann progettò una nuova macchina di calcolo automatico che introduceva il concetto moderno di programma registrato in memoria. Von Neumann definì inoltre i blocchi logici indispensabili per qualunque calcolatore. Un altro punto molto importante fu quello di concepire una macchina in grado di stabilire un colloquio con l'esterno.
I principi su cui è basata la macchina di Von Neumann hanno influenzato tutte le realizzazioni successive, e tuttora la maggior parte dei calcolatori presenta una analoga struttura di base. La macchina fu completata nel '52 dando il via alla prima generazione di calcolatori commerciali. L'evoluzione dei calcolatori, suddivisa in 'generazioni' è convenzionalmente basata sulla tecnologia impiegata.

Prima Generazione, quella basata sull'uso dei tubi termoionici, che come lascia immaginare il loro nome si surriscaldavano enormemente con conseguente perdita dell'afidabilità della elaborazione. La loro memora era estremamente limitata date le elevate dimensioni dei componenti impiegati.

Seconda generazione (1955-1965). Con l'avvento dei componenti cosiddetti a 'stato solido' o transitori si possono realizzare i circuiti stampati, e con questi nuovi componenti sia le dimensioni che le temperature si abbassano notevolmente, cosicchè l'Hardware assume aspetto e dimensioni molto più vicine a quelle attuali. Durante questo decennio vengono sviluppati molti linguaggi cosiddetti 'ad alto livello', del tipo FORTRAN, COBOL, BASIC, e molti brocetti vengono realizzati con l'ASSEMBLER.
Nascono le unità dischi a testine mobili e la MULTIPROGRAMMAZIONE.

Terza generazione (1965-1975). Si sviluppano i circuiti integrati o CHIPS che riducono drasticamente le dimensioni della CPU e di tutto il resto dell'hardware.
Viene introdotto l'uso della memoria virtuale, e a cache, nascono le reti di calcolatori (SNA = System Network Architecture) e la tecnica del Time Sharing (elaborazione a condivisione di tempo).

Quarta generazione (1975-...). Si riducono ancora le componenti circuitali, cosicchè aumentano potenza e velocità di elaborazione a parità di dimensioni. Questi eventi hanno permesso il diffondersi del Personal Computer, e la sua stessa evoluzione. Con l'inizio degli anni 80 si assiste alla diffusione dei sistemi 'multiprocessor' e di sistemi di elaborazione 'distribuiti'.