1661 bezog die Churfürstliche Bibliothek zu Cölln an der Spree im ersten Stock des Apothekerflügel des Berliner Schlosses ihre ersten eigenen Räume, welche zuvor vom kurfürstlichen Festungsbaumeister Johann Gregor Memhardt extra hergerichtet worden waren. Bis dahin hatten sich dort die Hofapotheke und im zweiten Stockwerk Wohnungen der Bediensteten befunden.

Die eigentliche Bibliothek bestand fortan aus drei Zimmern, ausgestattet mit Regalen und Bücherschränken an den Wänden oder frei im Raum stehend. Die Bestände konnten in einem Benutzerzimmer eingesehen werden, gelegentlich wurden sie ausgeliehen. Schon im Jahr 1687 verfügte die Bibliothek über 20.600 Druckschriften und 1.618 Handschriften.

Trotz großzügigem Um- und Ausbaus des Stadtschlosses reichte der Platz für die Aufgaben der gesamten Staatsverwaltung bald nicht mehr aus. Nach und nach musste der Kurfürst einzelne Abteilungen aus dem Schloss auslagern. Auch die Bibliothek litt bald unter Platzmangel und wurde in die Umzugspläne einbezogen. In seinen letzen Lebensjahren beschloss der Kurfürst ein neues Bücherhaus zu errichten, welches nach Norden hin im Lustgarten den Apothekerflügel fortsetzen sollte. Jedoch verhinderte der Tod des Kurfürsten - er starb 1688 - die Fertigstellung dieses ersten eigenen deutschen Bibliotheksbaus.

Kurfürst Friedrich III. (seit 1701 König Friedrich I. in Preußen) vermehrte den Bestand seiner Bibliothek auf mehr als das Doppelte (50.000 Bände) und verlängerte die Öffnungszeiten. Mit seiner Ernennung zum König wurde im Jahr 1701 die Bibliothek zur Königlichen Bibliothek.
 

Friedrich der Große (Regent von 1740-1786) sorgte in seinem letzten Regierungsabschnitt für eine Neuordnung der  Bibliothek. Wesentlich für diese Reorganisation war die Errichtung eines neuen Gebäudes, in dem die Bibliothek mehr als hundert Jahren wirken sollte, während derer sie weltweite Bedeutung erlangte.

1774 wird endlich ein Neubau der Bibliothek in Angriff genommen. Baumeister sind Georg Christian Unger und Georg Friedrich Boumann. Das neue Gebäude trägt dem wachsenden Bibliotheksbestand Rechnung und entsteht vor dem Hintergrund eines sich deutlich ausprägenden Wissenschaftslebens.

1784, unter Friedrich II., dem Großen, wird das neue Gebäude der Bibliothek am Opernplatz eröffnet. Die Gestalt der Fassade, die auf einen nicht ausgeführten Entwurf Fischer von Erlachs für die Wiener Hofburg zurückgeht, verleiht der Bibliothek rasch den Spitznamen "Kommode". Der barocke Baustil wurde kritisiert. Und auch die Vielzahl von Magazingeschossen, die an der Fassade erkennbar werden, da der Fußboden der Geschosse in der Mitte der Fenster zu sehen ist, fand wenig Beifall.

Schon von Dezember 1780 bis August 1782 wurden die Bestände aus dem Apothekerflügel des Stadtschlosses in die Kommode überführt. Dennoch wurde das neue Bibliotheksgebäude erst 1788 fertiggestellt, nachdem auch die langwierigen Dacharbeiten am Hauptgebäude vollendet wurden.

Am 15. März 1784 konnte im oberen Stock endlich eine Lesekammer eröffnet werden. Wenngleich nun ein neues Gebäude bezogen worden war, gab es dennoch für die Bibliothek erneut widrige Umstände: Denn der König hatte nur das Obergeschoss des Gebäudes für seine Bibliothek bestimmt, die Räume zur ebenen Erde wurden bis 1814 vom Regiment und bis 1840 von einem Theater genutzt. Da aber das Obergeschoss für die Bibliothek wiederum nicht ausreichte, musste man die Benutzungsabteilung und die Verwaltung in das Nebengebäude verlegen.

Die Bestände wuchsen - 1828 gab es bereits 250.000 Druckschriften zu verwalten - und das Gebäude musste mehrmals umgebaut und erweitert werden. Auch wurden Nachbargebäude gekauft, um mehr Platz für die Bibliothek zu haben, so 1882 das Haus Behrenstraße 41, später das hintere Gebäude des Niederländischen Palais' in der Behrenstraße 42. Schon in den dreißiger Jahren des 19. Jahrhunderts gab es erste Überlegungen, ein neues Gebäude zu errichten.

Zwischen 1898 und 1902 schlug Ernst Eberhard von Ihne Pläne für eine neue Bibliothek am Schlossplatz vor. 1902 umfasste der Bestand der Bibliothek schon 1,2 Millionen Druckschriften und 30.000 Handschriften.