Derjenige Teil der Inneren Stadtmauer, der sich vom Lohnhof (ehemals Burg Wildeck) durch die Birsigtalsohle zum Aeschenschwibbogen zog, war auf halbem Weg mit dem Esel- und dem Wasserturm befestigt. Die Wehranlage besass seit 1426 nur gegen den Kohlenberg einen kleinen Durchgang, das so genannte "Eseltürlin". Es erlaubte nur den Durchgang von Personen; Fuhrwerke mussten den Weg über die Freie Strasse zum Barfüsserplatz nehmen. Der Eselturm stand auf der linken Birsigseite und war durch einen Letzigang mit dem Wasserturm verbunden, der in den Wassern des Flusses stand. Für den Unterhalt dieses Wehrabschnitts wendeten die Behörden 1427 den beachtlichen Betrag von 73 Gulden auf. Die beiden Marterbilder, die am Eselturm angebracht worden waren, symbolisierten die interne Aufgabe, die dem zinnenbekrönten Turm zugedacht war: dem Tod geweihte Verbrecher zu verwahren.
In der unsicheren Zeit des Mittelalters führte die Gerechtigkeit ein ruchloses Regiment; mit einer unglaublichen Leichtigkeit wurde die Todesstrafe auch für Vergehen verhängt, die heute mit einigen Wochen Gefängnis bedingt zu büssen wären. Kaum ein Jahr in unserer Stadtgeschichte war nicht vom Blut einer oder mehrerer Hinrichtungen befleckt. Es waren in erster Linie Straffällige aus der Schicht der Untertanen und des fahrenden Volks, die dem Scharfrichter übergeben wurden. Dem Bürger gegenüber liessen die Richter meist Gnade vor Recht ergehen und verwandelten Todesstrafe in kurzfristige Verbannung. Wer zur Untersuchung in den Eselturm gesperrt wurde, hatte in der Regel nicht auf Milde zu hoffen; ein reiches Arsenal an Folterwerkzeugen erpressten vom Häftling jedes gewünschte Geständnis. Längere Gefängnisstrafen wurden wegen der Verpflegungs- und Wartungskosten aber selten ausgesprochen. Während der Jahre 1452 bis 1468 war im Eselturm ein Bruder Niklaus eingekerkert; im Dezember 1527 wurde der abtrünnige Augustinermönch Jacob Fritag aus der Haft entlassen und auf ewig 10 Meilen vor die Stadt verbannt.
Zum ausgedehnten Gefängniskomplex am Fuss des Kohlenbergs gehörte auch das Taubhäuslein, das zur Aufnahme der Geisteskranken, der Trunkenbolde, der Nachtschwärmer und Tagediebe diente; dort verbüsste im November 1521 der Kessler Peter Kupferschmit aus Ulm, der "uff den gassen ein schantlichs geschrey und wilde lieder gesungen, also dass weder nacht noch tag niemants kein ruw hat", eine kurze Strafe und wurde dann der Stadt verwiesen.