Μετά την επιστροφή και τη μόνιμη εγκατάσταση στη γενέτειρά του, το 1899, ένα από τα κύρια μελήματα του Σωτ. Ανάργυρου ήταν η κατασκευή οικίας αντάξιας της οικονομικής του επιφάνειας. Το 1902 βρέθηκε το οικόπεδο. Ένας χώρος σίγουρα ιδανικός.
Στο κέντρο ακριβώς της πόλης, ανάμεσα στα παλιά αρχοντικά της Μπουμπουλίνας και του Μπόταση, σε κυρίαρχη θέση, με θέα καταπληκτική προς τη θάλασσα. Ο Σωτ. Ανάργυρος ανέθεσε την εκπόνηση των σχεδίων του αρχοντικού στον Αρχιτέκτονα Παν. Ζήζηλα. Οι οδηγίες του ήταν σαφείς. Φιλοδοξούσε να χτίσει ένα αρχοντικό που να μοιάζει με αρχαίο αιγυπτιακό ανάκτορο ή ναό. Την άνοιξη του 1903 όλα ήταν έτοιμα για την ανέγερση. Επιστράτευσε τους καλύτερους τεχνίτες του νησιού και με αυτεπιστασία μέσα σ’ ένα χρόνο όρθωσε το λαμπρότερο οικοδόμημα των Σπετσών των αρχών του αιώνα.
