La storia del Museo inizia nel 1788, quando il Granduca di Toscana Pietro Leopoldo di Lorena propone di raccogliere nel Palazzo Comunale un primo nucleo di dipinti provenienti dai monasteri e dagli oratori soppressi dal vescovo Scipione de' Ricci, con l'intento illuminista di educare all'arte i giovani della Scuola comunale del Disegno. La pinacoteca civica nasce però solo 70 anni dopo, grazie alla tenace volontà di Cesare Guasti, personalità cruciale nella cultura pratese di quegli anni, e del fratello Gaetano, futuro sindaco della città. La prima galleria d'arte viene infatti allestita nel 1858 in due sale del Palazzo Comunale; è composta da 35 opere, tra le quali i polittici di Giovanni da Milano e Bernardo Daddi, la Madonna della Cintola e la Madonna del Ceppo di Filippo Lippi, la pala dell'Udienza di Filippino.
Tra il 1866 e il 1900 la collezione si arricchisce, grazie a ulteriori acquisizioni e alle prime donazioni. Negli spazi espositivi di Palazzo Comunale, nel frattempo ampliati e riorganizzati, arrivano ad esempio la predella con le storie della Cintola di Bernardo Daddi, la Natività di Filippo Lippi e, dallo Spedale Misericordia e Dolce, la collezione Martini con un consistente nucleo di dipinti del Seicento e Settecento.
Verso la fine del XIX secolo si affaccia l'idea di demolire Palazzo Pretorio; si decide per fortuna di ristrutturarlo e destinarlo a nuova sede della galleria comunale, che viene inaugurata il 27 aprile 1912. Il primo allestimento è di Roberto Papini, che cura anche il catalogo della collezione. I lavori di restauro del palazzo proseguono fino agli anni Venti e la collezione continua ad arricchirsi. Nel 1928 per iniziativa di Angiolo Badiani è ad esempio affidato al Museo in deposito statale un primo nucleo di modelli in gesso dello scultore pratese Lorenzo Bartolini. Mostre ed esposizioni si susseguono fino al 1940, quando il Museo viene chiuso a causa della guerra e le opere sono spostate in luoghi più sicuri, come la Villa Medicea di Poggio a Caiano.
La successiva riapertura è del 1954, con l'allestimento curato da Giuseppe Marchini insieme a Silvestro Bardazzi: resterà sostanzialmente immutato fino al 1997. Tra le mostre organizzate in questo periodo, due soprattutto meritano di essere ricordate: quella del 1955 curata da Federigo Melis sugli straordinari documenti dell'archivio Datini, inaugurata da due presidenti della Repubblica, il neo eletto Giovanni Gronchi e l'uscente Luigi Einaudi; e la prima grande mostra dedicata a Lorenzo Bartolini nel 1978, a cura di Anna Maria Petrioli Tofani ed Ettore Spalletti.
Una nuova fase si apre negli anni Ottanta con l'inventariazione delle raccolte e la nomina della conservatrice Maria Pia Mannini e poi del direttore Alessandro Pasquini. Nel gennaio 1998 il Museo chiude e inizia il complesso intervento di restauro di Palazzo Pretorio. I capolavori del Trecento e del Quattrocento vengono esposti al Museo di pittura murale in San Domenico, alcuni dipinti vanno ad arricchire la quadreria di Palazzo Comunale, molte altre opere sono collocate nei depositi. Negli anni successivi, mostre sui tesori della collezione vengono organizzate in Giappone, a Barcellona, a Parigi. 

Mentre si concludono i restauri e la riprogettazione del museo, la collezione si arricchisce: nel 2010 con l'acquisto del Crocifisso di Filippino Lippi; nel 2011 con la donazione Lipchitz e nel 2012 con le pale di Santi di Tito e Alessandro Allori donate da Angela Riblet.

Nel 2013 riapre Palazzo Pretorio:  a marzo con la mostra L'arte di gesso dedicata a Lipchitz, e a  settembre con Officina pratese. Da Donatello a Lippi , la prima grande mostra sul Rinascimento a Prato. 

Ad aprile 2014 si inaugura finalmente il nuovo allestimento del Museo curato dagli architetti Adolfo Natalini, Piero Guicciardini e Marco Magni.