Dvorec Karlov nechal vystavět hrabě F. A. Špork podle návrhu významného českého architekta Františka Maxmiliána Kaňky v letech 1715–1717 a po svém založení fungoval jako hospital pro nemocné a přestárlé (a je tedy současníkem známého a architektonicky cenného Kuksu). Areálu dominovala kaple svatého Kříže (na snímku zcela vpravo), doplněná o tři přízemní budovy. O výzdobu areálu se starala sousoší od světoznámého Matyáše Bernarda Brauna, ambity budov špitálu zdobily fresky neznámých autorů. Ještě v osmnáctém století podstoupil areál některé úpravy směřující k zemědělskému provozu, v roce 1803 pak došlo k úplnému zrušení špitálu a role Karlova byla ryze zemědělská. Statek vystřídal několik majitelů, až po II. světové válce padl do rukou státního JZD. Kaple (odsvěcená již v roce 1790) byla přestavěna na stáj, stavebních úprav doznaly i ostatní budovy, na místě také vzniklo několik architektonicky úplně bezcenných a celý areál devalvujících přístavků. Po pádu komunismu byl areál provatizován a v soukromých rukách dodnes chátrá. V roce 2006 byly budovy bývalého špitálu s kaplí, stodola, studna a příslušné pozemky prohlášeny kulturní památkou. U areálu se nachází zastávka linky PID 431, obsluhována je však pouze ve směru do Byšiček, pro cestu do Lysé nad Labem je potřeba dojet do Byšiček a tam přestoupit na protijedoucí spoj stejné linky, který však zajišťuje tentýž autobus a tak se v praxi dá dojet i z Karlova do Lysé bez přestupu.