Gräfin Agnes von Bentheim und Steinfurt (1531–1589) heiratete um 1550 den gebildeten, jedoch als eigensinnig und tyrannisch geltenden Johann II, Graf von Rietberg, mit dem sie zwei Töchter, Armgard und Walpurgis, hatte. Sie residierte spätestens ab 1557 auf dem Esenser Schloss und übernahm 1560 von ihrer Schwiegermutter, Gräfin Onna von Rietberg, der Schwester Balthasars, die Regierungsgewalt im Harlingerland mit Esens, Stedesdorf und Wittmund.
Um 1562 ließ Gräfin Agnes für ihren verstorbenen Gatten, Graf Johann II, das große Epitaphe errichten, das sich neben dem Walpurgis-Epitaph von 1586 noch in der St.-Magnus-Kirche befindet. Agnes stiftete am 7. August 1563 auf Bitten von Bürgerschaft und Bürgermeistern das älteste heute noch erhaltene Stadtprivileg, das Esens Einnahmen aus Waagegeld und von einer Schweineweide zuweist. Sie stiftete 1568 in Esens außerdem ein Gasthaus (Armenhaus) für 12 Personen, einen Gastvater und einer Gastmutter. 1568 vermählte sich Agnes mit Graf Otto VIII. von Hoya. Diese Ehe blieb kinderlos. Gräfin Agnes von Bentheim überlebte beide Töchter und starb 1589 auf dem Gut Varste bei Verden. Sie wurde in Nienburg beigesetzt.
Amtsenthebung 1870 wirkte er noch bis 1892 an der Navigationsschule in Leer. In seiner Esenser Zeit ab 1848 bewohnte Gittermann das 1840 von Maurermeister Anton Esen (1773–1857) auf dem frühere Burggelände am Herrenwall errichtete zweigeschossige Backstein-Wohnhaus.
Als die 1926 gegründete Esenser Mittelschule schließlich einen eigenen Namen erhalten sollte, entschied man sich zum 25-jähigen Bestehen im Jahr 1951 zeitgemäß für „Carl-Gittermann-Realschule“. Der Lernort wechselte 1972 von der Stadtmitte (heute Haus der Begegnung) in einen Neubau im Schulzentrum Nord an der Walpurgisstraße.