Huset er bygget på Saxildgaardens oprindelige grund, og det har været ejet af Rathlousdal.
Saxildgaarden brændte ved den store bybrand på Gl. Bygade i 1868. Huset matr. 4.a brændte igen den 7.oktober 1793, men blev genopbygget/reetableret.
Ejerliste fra 1820
Billede: Tage Bonde