Grundherr war das Chorherrenstift St. Leonhard; es verlieh die Liegenschaft in der ersten Hälfte des 14. Jahrhunderts Heinrich von Laufenberg und nach dessen Verzicht im Jahre 1341 gegen einen jährlichen Zins von acht Schilling an Fritschi, genannt Hüller „zum Silberberg“. Sie hiess noch längere Zeit nach dem ersten Empfänger „zum Laufenberg“. 1360 wurde sie wieder an St. Leonhard zurückgegeben.
1449 erscheint als Eigentümer Hans Richisheim von Ensisheim, vermutlich der Sohn des Krämers Henman von Richisheim, der 1402 das Basler Bürgerrecht erworben hatte. Er besass neben dem Haus samt Scheune und Höflein sowie Anrechten am Haus seiner Schwiegermutter an der Wien-hartgasse (Hutgasse) einen grossen Garten „vor dem Spahlentor bei dem Teuchelweiher“ (Ecke Schützenmattstrasse/Weiherweg). 1453 legte der Gläubiger Richisheims wegen verfallener Zinse auf alle Güter Beschlag; auch Richisheims Sohn stand unter dem Druck seiner Kreditoren, bis er das Haus 1499 an den Metzger Caspar Rapp von Thann verkaufte, der drei Jahre zuvor das städtische Bürgerrecht erworben hatte. Wohl nach ihm erhielt die Liegenschaft den Namen „zum Rappen“, der 1580 zum ersten Mal auftaucht, und seit 1724 die Bezeichnung „zum schwarzen Rappen“ trägt. 1581 gelangen Haus und Hofstatt mit Scheune, Stall und Gärtlein an den Metzger Jacob Vest, der sie an den Sohn Leonhard (1610), an den Enkel Emanuel (1668) und an den Urenkel Leonhard (1710), allesamt Metzger, vererbte. 1724 wurde der „Schwarze Rappen“ von Leonhard Vest für 2400 Pfund an Leonhard Oser-Hindenmann veräussert. Dieser betrieb neben seinem Metzgereibetrieb auch eine Kerzenfabrikation, die ihm allerdings von seinem Nachbarn erschwert wurde. Aus dessen „Privatturm“ sei angeblich dauernd Unrat in sein „Unschlittkämmerlein“ (Talg) gedrungen.
1761 ist der Küfer Hans Michael Fuchs als Eigentümer erwähnt. 1763 erhoben die Nachbarn Einspruch gegen die Setzung eines Stubenofens an der Scheidemauer, an der sich ihre „Privattürme“ befanden. Nach Fuchs’ Tod kam das Haus 1804 zur Auktion, wo es der Weissbeck Matthias Basler erwarb; als dieser bereits 1808 starb, verkauften seine Erben die Liegenschaft an den Schuhmacher Johann Jacob Imhof-Geiger.
1838 erwarb der Kerzenfabrikant Wilhelm Oser-Iselin die Liegenschaft, die somit zurück in Oser-Besitz gelangte; nachdem dieser seine Firma 1848 eingehen liess und das Amt eines Ratsweibels übernahm, erteilte der Kleine Rat 1853 der israelitischen Witwe Barbara Wolf-Meyer die Bewilligung zum Kauf des Hauses, das nunmehr „zum schwarzen Ritter“ hiess; die Witwe übertrug die Liegenschaft 1860 ihrem Sohn Georg Wolf-Dietisheim (1819-1900), der hier eine lithographische Anstalt eröffnete. 1872 verlieh ihm die Stadt das Bürgerrecht, und kurze Zeit gehörte er als Freisinniger dem Grossen Rat an. Seine Firma wurde fortgesetzt durch den Sohn Arthur Wolf-Weit (gestorben 1921) sowie durch Bernhard Wolf-Grumbach (gestorben 1951), der sein Interesse indessen zu Beginn des 20. Jahrhunderts vornehmlich der Fotografie zuwandte und an der Hutgasse das erste hiesige fotografische Spezialgeschäft gründete; dieses wurde bald an die untere Freie Strasse verlegt, wo es noch heute besteht. Bernhard Wolf war ein begeisterter Freund vom alten Basel und hat viele inzwischen verschwundene Baudenkmäler unserer Stadt auf seinen Platten festgehalten. Über 12'000 Aufnahmen sind dem Staatsarchiv zum Geschenk gemacht worden. Die Lithographie Wolf hatte Bestand bis zum Beginn der 1920er Jahre und wurde von Frieda Lübben-Lang als „Lithographie zum Gemsberg“ bis 1940 weitergeführt. Nach dem Tod Bernhard Wolfs ging die Liegenschaft am Unteren Heuberg 4 über an die Firma Wullschleger & Co. für chirurgische Instrumente und medizinische Apparate.