Landlæknisembætti Íslands var stofnað með konunglegri tilskipan árið 1760. Í framhaldi af því var Nesstofa byggð á árunum 1761-63, sem læknissetur, lyfjaverslun og vísir að fyrsta læknaskóla landsins. Húsið er eitt af elstu steinhúsum landsins, hlaðið úr tilhöggnu grjóti, eftir teikningu danska hirðarkitektsins Jacob Fortling.
Nesstofa reis af grunni við hlið gömlu bæjarhúsanna sem nú eru löngu horfin. Á efri hæð voru íveruherbergi en á neðri hæð m.a. stúdíum, apótek og rannsóknarstofa. Landlæknar og lyfsalar sátu um lengri tíma í Nesi m.a. fyrsti lyfsali landsins, Björn Jónsson en í Nesstofu.
Árið 1772 var lyfsala aðgreind frá landlæknisembættinu. Í kjölfar þess fékk Björn Jónsson, lyfsali, hálfa jörðina til ábúðar og var Nesstofu skipt á milli þessara embætta. Var sú skipting eftir endilöngu húsinu. Í Nesstofu starfaði einnig ljósmóðir.
Húsið komst í einkaeign þegar embættin tvö voru flutt til Reykjavíkur upp úr 1830 en Oddur Thorarensen var síðastur lyfsala í Nesi og flutti hann apótekið með sér til Reykjavíkur árið 1834. Eftir það var Nes í einkaeign fram til 1975 er ríkið keypti húsið og gerði að lækningaminjasafni.
Nesstofa hefur verið hluti af húsasafni Þjóðminjasafns Íslands frá árinu 1979 og hefur nauðsynlegu viðhaldi verið sinnt á húsinu í gegnum árin. Síðast lauk þar umfangsmiklum viðgerðum árið 2009 sem fram fóru undir stjórn þjóðminjavarðar. Mest var unnið í eystri hluta hússins en einnig í öðrum hlutum þess sem og ytra byrði. Í viðgerðunum var sérstök áhersla lögð á að varðveita byggingasögulegar heimildir með aðferðum forvörslu. Auk þessa var gert átak í næsta umhverfi Nesstofu.
