Bereits die Kurfürstliche Bibliothek verwahrte Bücher, die als außerordentlich kostbar, selten und wertvoll galten. Die heutige Rara-Sammlung entstand nach Vorarbeiten in den zwanziger Jahren ab 1935. In dreijähriger Arbeit erfolgte die Umstellung von rund 12.000 Drucken aus dem Hauptmagazin. Die Preußische Staatsbibliothek erarbeitete damals Kriterien für die Rarifizierung, die als beispielgebend auf diesem Gebiet gelten konnten. Weitere Aspekte für die Auswahl sind die buchgeschichtliche Bedeutung der Drucke, wie etwa frühe Druckerzeugnisse einer Offizin, oder die buchkünstlerisch bedeutsame Ausstattung der Drucke mit hervorragenden Original-Illustrationen. Auch neue drucktechnische Entwicklungen wie die Lithographie wurden berücksichtigt.

Im Zweiten Weltkrieg erlitten auch die Rara große Kriegsverluste. Auf den trotzdem noch beträchtlichen Beständen aufbauend, wurden in beiden Nachfolgebibliotheken erhebliche Anstrengungen unternommen, die durch den Krieg unterbrochene Arbeit zur Separierung aus dem Hauptbestand fortzusetzen und die Kriterien zur Rarifizierung den veränderten Bedingungen anzupassen. Die 1997 wieder zusammengeführte Sammlung enthält heute ca. 60.000 Bände, die weiterhin ergänzt werden. Die Sammlung wird unter buchkundlichen Kriterien erschlossen: Drucker, Verleger, Buchgestalter, Einbände, Provenienzen und Illustratoren werden erfasst. Über den Vorkriegsbestand können sowohl für die Rara als auch für die anderen Sondersammlungen anhand der Verlagerungslisten Informationen zu ihrem gegenwärtigen Standort bzw. zu einem wahrscheinlichen Kriegsverlust gegeben werden.

Diese Sammlung umfasst 60000 Objekte.