Coincide con l'antica Rocca, il nucleo primitivo intorno al quale si sviluppò il centro abitato di Frascati. Probabilmente la costruzione fu iniziata sotto il pontificato di Pio II Piccolomini (1458-64) e fortificata, verso la fine del sec. XV, dal cardinale Guglielmo d'Estouteville. Quest'ultimo provvide anche ad edificare una cappella interna - che oggi accoglie un dipinto di Sebastiano Conca (1676-1764) raffigurante le Virtù Teologali e la Navicella di San Pietro - e, nel 1480, una fontana ottagonale, di fronte all'ingresso principale.

La pianta rettangolare del palazzo presenta due torri quadrate sul lato prospiciente piazza Paolo III ed una circolare sulla facciata opposta. L'interno racchiude un piccolo cortile centrale, delimitato su un lato da un porticato sorretto da pilastri ottagonali, da cui si apre una scala che conduce al mastio. Particolarmente degna di nota è una sala affrescata a tempera dal pittore polacco Taddeo Kuntze (1727-93). Lucrezia della Rovere, moglie di Marcantonio Colonna, soggiornandovi, vi fece eseguire quattro massicce porte in quercia intagliata con motivi floreali, oggi conservate a Roma.

Nel corso dei secoli il palazzo fu dimora dei Governanti di Frascati e di diversi papi: Paolo II (1464-71), Alessandro VI Borgia (1492-1503), Pio IV de' Medici (1560-65) e Clemente VIII Aldobrandini (1592-1605).

Infine, il cardinale Enrico Benedetto Stuart (1761-1803), constatato lo stato pietoso in cui versava la costruzione, provvide, nel 1775, ad un profondo restauro, comprendente anche l'abbellimento delle stanze con affreschi ad opera del pittore polacco Taddeo Kuntze e la costruzione di un artistico altare in marmo. Nell'occasione fece incanalare e portare nel cortile interno della Rocca la quantità d'acqua concessagli gratuitamente dal principe Paolo Borghese Aldobrandini, facendola sboccare in un sarcofago marmoreo per mezzo di cannelle, ancor oggi funzionanti.

Con lui la Rocca divenne sede definitiva dei Vescovi tuscolani e intitolata Palazzo Duca di York.