Der Pfleghof an der steilen Burgsteige wurde Kloster Kaisheim 1293 (98) vom Esslinger Arzt Trutwin gestiftet. Das Interesse des Klosters am Weinhandel in Esslingen wird deutlich durch den Erwerb des Weinbergs unterhalb der Burg (Burgweinberg). Eine große Kelter wurde neben dem Hof erstellt, die bezeichnenderweise das Wappen des Klosters trägt. Das Gebäude stammt in seinem Kern aus dem 14. Jahrhundert, wurde aber mehrmals umgebaut. Die Kapelle an der Vorderseite des Pfleghofs wurde leider 1919 abgetragen. Sie war nach der Reformation für lange Zeit die einzige katholische Kapelle der freien Reichsstadt.