Ο Πύργος Μπαζαίου κτίστηκε περίπου το 1600. Αρχικά, λειτούργησε ως μοναστήρι του Τιμίου Σταυρού, μέχρι τις αρχές του 19ου αιώνα, οπότε εγκαταλείφθηκε από τους τελευταίους μοναχούς.