Musikabteilungen oder Musiksammlungen an Bibliotheken sind eine recht junge Erscheinung, die erst im 19. Jahrhundert greifbar werden. Zu einer der am frühesten begonnenen Sammlungen gehört jedoch diejenige in Berlin. Erwerbungen wie die geschlossene Musikaliensammlung des Hallenser Universitätsmusikdirektors Johann Friedrich Naue, die 1824/25 in die Königliche Bibliothek kam, oder die umfangreiche Musikbibliothek von Georg Poelchau mit 1.879 Drucken und 2.647 Abschriften und Autographen - in der sich auch zahlreiche Autographen Johann Sebastian Bachs befanden und die im Jahr 1841 angekauft wurde -, führten dazu, dass im Mai 1842 mit Siegfried Dehn ein eigener Kustos für das Fach Musik eingestellt wurde. Damit waren die Voraussetzungen für die planmäßige Erwerbung von Musikalien und Fachliteratur im Rahmen einer eigenen musikalischen Abteilung geschaffen. Unter Dehn erwarb die Bibliothek u. a. 1846 viele Beethoven-Autographen aus dem Nachlass Anton Schindlers und 1854 weitere Bach-Autographen und andere Abschriften aus dem Umfeld Bachs aus dem Archiv der Sing-Akademie zu Berlin. In den 60-er Jahren des 19. Jahrhunderts übergab die Intendanz der Königlichen Schauspiele Berlin etwa 1.300 Opernpartituren und Aufführungsmaterialien, die bis heute in der Musikabteilung der SBB verwahrt werden. 

1906 wurde unabhängig von der Musikabteilung in Berlin u. a. durch verschiedene Musikverleger die „Deutsche Musik-Sammlung“ (DMS) gegründet, die 1912 mit der musikalischen Abteilung der Königlichen Bibliothek vereinigt wurde. Damit war dann auch ihr Status - durch die Ausstattung mit einem festen Etatanteil, eigenem Direktor und fest zugeordnetem Personal - endgültig verfestigt. Bis 1945 gaben die deutschen Musikverlage jeweils ein Exemplar ihrer Neuproduktionen als Beleg ab. In vielen Fällen steuerten die Verlage zu Beginn des Projekts auch noch vorhandene, bis ins 19. Jahrhundert zurückreichende Archivstücke mit bei, so dass die Sammlung bis zum Zweiten Weltkrieg 330.000 Titel umfasste. Dies war schließlich ausschlaggebend dafür, der Musikabteilung der SBB das Zeitsegment „Musikdrucke der Erscheinungsjahre 1801 bis 1944“ im kooperativen Projekt „Sammlung Deutscher Drucke“ zuzuweisen.

Weitere bedeutende Erwerbungen wie die Musikalien Amalias von Preußen, der Schwester Friedrichs d. Gr., oder die Nachlässe Hans von Bülows und Meyerbeers bereicherten bis 1918 die Sammlungsbestände.
Bis März 1939 verzeichnete die Musikabteilung 31.680 Bände an Fachliteratur, 356.500 Musikdrucke, 34.300 Musikhandschriften (darunter 14.050 Autographen) und 46.800 Briefe.
Kriegsverluste im Gefolge der Auslagerungen nach Schlesien ab 1939 sind in unterschiedlichem Umfang in allen Bestandsgruppen zu verzeichnen.

Der Verbleib verschollener Titel, besonders im Druckbereich, ist größtenteils noch ungeklärt.
Ein erheblicher Teil der sehr bedeutenden Bestände im Autographen- und Rarabereich (hier insbesondere Musikdrucke des 16. bis 17. Jahrhunderts) gelangte nach 1945 nach Krakau; sie werden noch heute in der Jagiellonischen Bibliothek in Krakau verwahrt und sind dort öffentlich zugänglich. Die Bestände gelten - nach deutscher Auffassung - weiterhin als Eigentum der Staatsbibliothek zu Berlin; über ihre Rückführung wird seit 1991 auf Regierungsebene mit Polen verhandelt.

Nach 1945 wurde der Musikabteilung der Deutschen Staatsbibliothek, die weiterhin Unter den Linden Bestand hatte, im Rahmen des Pflichtablieferungsrechts der DDR die gesamte Musikalienproduktion des Staates übergeben. Eine Projektaufgabe wie die Herausgabe der Konversationshefte von Ludwig van Beethoven wurde in den 80er Jahren institutionell mit der Abteilung verknüpft.

Die Bedingungen im Westteil der Bibliothek gestalteten sich schwierig, da die Auslagerungsbestände aus Marburg (1965) und aus Tübingen (erst 1967/68) zurückkamen, wohin sie aus ihren Auslagerungsstätten während des Krieges gebracht worden waren und der Katalog im Haus Unter den Linden geblieben war.
1964 wurde der Musikabteilung das Mendelssohn-Archiv organisatorisch als Sammelstätte zur berühmten Berliner Familie angegliedert. Seit 1992, nachdem die beiden Standorte der Bibliothek zur Staatsbibliothek zu Berlin - Preußischer Kulturbesitz vereinigt worden waren, ist der Musikabteilung die Arbeitsstelle im Rahmen der Herausgabe der C. M. von Weber-Gesamtausgabe zugeordnet worden. Seit 1997 sind die Bestände und die Abteilung wieder vereint im Gebäude der Staatsbibliothek Unter den Linden.