Historie domu „104“ je bohatá první zmínku o domě s číslem popisným 104 můžeme nalézt v kronikářských záznamech z roku 1846, kdy měl být domek vystavěn. Budova byla původně dřevěná, později zděná, majitelem byl velkostatek. Díky tomu, že domek stál těsně u mostu s již kamennými pilíři, vybíralo se v něm mýto, za přejetí tohoto mostu. Ze záznamu z roku 1857 se můžeme dočíst, že v něm bydlel „mejtný“ Josef Litochleb, jeho žena Josefa ,jejich děti Josef a Marie a nádeník Jan Mastný.
19.července 1892 byla podána žádost od slavného ředitelství velkostatku Světlá o přestavbu mýtního domku čp.104, žádost byla schválena.
Od 11.listopadu 1914 domek vlastnil majitel panství Richard Morawetz, který v roce 1923 navrhl zrušení mýtného, které podle jeho slov : „stejně na opravy mostu nestačilo…“ Domek 3.12. 1926 dle trhové smlouvy prodal za 17.000 Kč Anně Neustadtlové.
V roce 1928 se začal stavět nový most přes řeku Sázavu, několik metrů nad mostem starým. V plánu bylo rozšíření předmostí, proto bylo navrhováno, aby byl domek čp.104 zbořen a místo po něm, aby zůstalo veřejným prostranstvím. Tyto nároky se ale ukázaly přehnané, proto byl domek zachován.
Roku 1933 úspěšně požádala Anna Neustadtlová o udělení koncese k provozování živnosti vetešnické. V roce 1938 dům koupili Marie a František Dvořáčkovi, kteří si v domě otevřeli koloniál. Obchod koloniální zde fungoval do roku 1950, kdy byl státem (stejně jako další soukromé obchody) zrušen. Po smrti paní Dvořáčkové dům mnoho let chátral.
Koncem září roku 2012 se začalo s bouráním domku a výstavbou Penzionu 104.
