Adam von Selbitz, Amtmann von 1481 bis 1494, baute 1493 das erste Haus auf dem alten aufgelassenen Friedhof, der an dieser Stelle unterhalb des Burgberges im 12. Jahrhundert angelegt worden war. Der Amtmann war der Vater des Hanns von Selbitz, der als Gefolgsmann Götz von Berlichingens im gleichnamigen Schauspiel von Johann Wolfgang von Goethe ein literarisches Denkmal gesetzt bekommen hat. Das Haus erwarb nach Selbitz’ Wegzug Hieronymus von Haßberg, der, 1507 in Königsberg geboren, von 1555 bis 1559 das Amt des Untervogts ausübte.
Der neue Eigentümer war ein Gönner gelehrter Leute. Hieronymus von Haßberg starb 1583, nachdem er vier Jahre zuvor erleben musste, wie sein einziger Sohn auf dem Marktplatz enthauptet wurde. Junker Georg hatte den städtischen Bader umgebracht. Das bürgerliche Centgericht fällte das auf Mord stehende Todesurteil. Die Erben verkauften das Anwesen 1587 an den Amtsschösser Johann Volck, den Herzog Johann Wilhelm 1569 nach Königsberg versetzt hatte.
1632 niedergebrannt, wurde das Gebäude 1681 vom Amtsverwalter und Centhalter Christian Sack wieder aufgebaut. 1752 kaufte es der Staat und richtete darin das Kammeramt (Rentei) ein.
1829 ging das Anwesen wieder an private Eigentümer über. Das Kammeramt wurde in das Amtshaus an der Schloßsteige verlegt. Ab 1888 lebte hier fast zwei Jahrzehnte der preußische Major a.D. Paul Graf von Waldersee, der sich als Musikschriftsteller und Bearbeiter der Werke Mozarts in der Musikgeschichte einen Namen gemacht hat. Die Stadt Königsberg, in deren Eigentum sich ein großer Teil des musikalischen Nachlasses des »Musengrafen« befindet, erweckt seit einigen Jahren in den sog. »Graf-Waldersee-Konzerten« seine Werke wieder zum Leben.
Der 1906 verstorbene Junggeselle übertrug den Grundbesitz noch zu Lebzeiten an seinen Hausverwalter Joseph Küpper. Am 1. Mai 1936 kaufte die Diözese Würzburg das Grundstück von dessen Tochter, sodass sich heute im Gebäude das katholische Pfarramt befindet.