Högre seminariet, Historia