Kostel sv. Jiljí s vysokou věží dominuje souboru budov někdejšího augustiniánského kláštera, založeného Rožmberky v roce 1367. Klášter poznamenal dějiny města a zařadil se k předním centrům vzdělanosti a umělecké tvorby na českém jihu. Rožmberská nadace byla neobyčejně velkorysá, jmění kanonie však rostlo i obratnou hospodářskou politikou a odkazy. Se stavbou nového konventu se započalo současně se stavbou kostela a v roce 1369 už zřejmě pokročily práce na budování ambitu. Na severní straně kostela byla zbudována i jednopatrová budova konventu čtvercového půdorysu, s křížovou chodbou uchovanou v téměř neporušené podobě. Každé ze čtyř křídel ochozu má kromě klenebních polí pět polí vlastních. Všechny čtyři stěny obrácené do rajského dvora jsou prolomeny širokými hrotitými arkádami s úzkými parapety. Takto vzniklá okna jsou členěna třemi pruty a jejich závěr je vyplněn bohatou kružbou trojího druhu.

Na jižní straně nádvoří, rozkládajícího se před konventem, postavil Petr z Rožmberka dům s kaplí v patře, která svým tělem vybočovala do dvora. Byla zasvěcena sv. Vincenci a je připomínána již v roce 1380. Ostatní budovy na nádvoří kláštera jsou převážně z období nového rozkvětu kláštera v 18. století. Kašna uprostřed nádvoří pochází z konce 17. století. Zrušení kláštera v roce 1785 ukončilo dobu jeho opětného vzestupu.