Rektorgården
Når man kommer gennem Klosterporten og fortsætter ned mod Sorø Sø får man på venstre hånd kirken og skolens hovedbygning, og på højre hånd et højtliggende klassicistisk, gulkalket hus. Det er Rektorgården, som er et ret stort bygningskompleks. Den toetages forbygning med toløbet havetrappe, er udført af Peder Mallings bygningskonstruktør Fr. Friis. Bygningen er opført i 1836, og var oprindelig beregnet som bolig for Akademiets director - leder af både skole og Akademi. Førstesalen var aftrædelsesrum for kongen. Da akademidelen blev nedlagt i 1849, blev bygningen til rektorbolig, og på førstesalen blev indrettet bolig til skolens to ældste klasser.
Sydlængen
Bag forbygningen ligger i øst-vestgående retning, en lav længe, gulpudset, og med tydelige tegn på en ældre byggestil. Bygningen stammer fra senmiddelalderen, og har været brugt til hus for kongens jagthunde, som før reformationen blev udstationerede i klostrene. Derfor fik bygningen tilnavnet Hundeborg. Bygningen har også været brugt til vejerhus, bryggers og vaskerhus. Bygningen har altså oprindeligt været en del af klosteranlægget, muligvis kapitelhus, hvilket var det sted, som et domkapitel, dvs. præsteskabet (kaldet kannikerne) holdt sine møder. I 1836 blev Rektorgårdens Forbygning bygget og denne lave sydlænge, kom til at indgå i den nye rektorgårds køkkenfløj.
Bagbygningen
I 1855 blev opført en toetages bygning med kvistværelser. Denne bygning blev kaldt Bagbygningen. Formålet var at få de ældste elever væk fra Hovedbygningen, og give dem lidt friere forhold. Samtidig blev indrettet værelser til en kostlærer. I denne bygning findes den navnkundinge Baldursalen - Rektorgårdens dagligstue. Baldursalen, som i dag udelukkende bruges som samlingslingslokale for husets beboere, var tidligere et mødelokale for gymnasieforeningen "Baldur". Baldur eksisterede fra ca. 1860-1960. I foreningen havde man diskussioner, fester og foredrag. Foreningen havde et blad (eller avis) kaldet Minerva, og til møderne blev læst højt fra dette. Bladene findes stadig i skolens bibliotek. Medlemmer af Baldurforeningen og bidragydere til artikler i Minerva var kendte forfattere som Herman Bang, Hans Kirk og Vilhelm Andersen. I 1919 blev Rektorgården udbygget med en toetages bygning længst mod vest, afsluttet med en tværbygning. Herved blev plads til flere kostelever og en bolig til en kostlærer. I 1983 flyttede de første piger på kostskolen ind på et af husene i Det nye Alumnat. En tidligere elev har fortalt, at efter sommerferien 1984 flyttede syv af pigerne over på Rektorgårdens Forbygning, hvor et lignende antal drenge hidtil havde haft to store sovesale. Da eleverne kom tilbage til skolen efter sommerferien var den ene sovesal nedlagt, men til gengæld var der indrettet en opholdsstue. Det var meningen, at pigerne på skift skulle sove på hhv. sovesal og dagværelse i takt med, at de fik skiftet sengetøj. Det var pigerne ikke tilfredse med, så de hentede sengene ned fra loftet, og klumpede sig sammen på én sovesal. Frem til 1989 sov Rektorgårdens alumner på sovesale eller boede to og to på nogle meget store værelser.
2016-2017 gennemgik Bagbygningen en gennemgribende renovering. De gamle fælles baderum blev sløjfet, og loftet blev inddraget og indrettet med værelser. Slutresultatet var en Bagbygning med 31 værelser, 11 badeværelser og 6 toiletter – plus en kostlærerlejlighed. Noget af det nye var en taskekvist med tre helt nye værelser – de har Sorøs bedste udsigt!
Rektorgården er kostbolig/alumnat for skolens 3.g'ere.