Der Bau der Sternwarte ist eng mit dem Mathematiker und Astronomen Rudolf Wolf (1816-1893), der 1855 als Professor für Astronomie an das neu gegründete Eidgenössische Polytechnikum in Zürich berufen wurde, und Gottfried Semper (1803-1879), Professor für Architektur und Leiter der Bauschule am Polytechnikum Zürich, verbunden. Parallel zum Bau des Polytechnikum (1859-1864) erfolgte, auf Wolfs Bestreben und nach Plänen Sempers, die Planung für den Bau einer Sternwarte. Der Bund übernahm die Baukosten und der Kanton Zürich stellte das Grundstück in den zur Gemeinde Oberstrass gehörenden Spitalreben im Schmelzberg zur Verfügung. Die Kuppel wurde nach Ideen und Angaben von Wolf und Franz Reuleaux (1829-1905), Professor für Maschinenlehre, durch die Firma Escher Wyss ausgeführt. Nach dreijähriger Bauzeit konnte die Sternwarte 1864 eröffnet werden, wobei neben der Astronomie auch die meteorologische Zentralanstalt (bis 1881), die im zweiten Obergeschoss untergebracht war, Einzug hielt.
Während der vergangenen rund 140 Jahren hat die Liegenschaft einschneidende bauliche Veränderungen erfahren. Zwischen 1910 und 1911 wurde am Rand der Beobachtungsstrasse das so genannte «Kleine Observatorium» errichtet. 1950/51 folgten der Sonnenbeobachtungsturm und zwischen 1989 und 1993 die Neugestaltung der nördlich anschliessenden Zone zwischen Sternwarte und Kantonsapotheke.
1928 wurde im Zuge der Bauplanung für den Kantonsspital das Unverbaubarkeitsservitut vom Kanton abgelöst. Die im Laufe der Jahre erstellten Spitalneubauten trafen in der Folge die Verwendungsmöglichkeiten der auf ebener Erde aufgestellten astronomischen Instrumente aufs empfindlichste. Gravierende Störungen der Beobachtungen stellten sich ausserdem durch das neue Fernheizwerk (1933), die Erweiterung des Chemischen Instituts (1937) und durch das neue Kantonsspial (ab 1945) ein. Die weitere Überbauung des die Sternwarte umgebenden Areals (Neubau der kantonalen Frauenklinik, 1970-1979) mit den damit verbundenen Emissionen stellte den Standort der Sternwarte an der Schmelzbergstrasse schon bald grundsätzlich in Frage, so dass 1980 die Betriebseinstellung erfolgte. In der Folge wurde in der Liegenschaft zwischenzeitlich die mikrotechnologische Holzforschung eingerichtet.
Per Regierungsratsbeschluss wurde 1981 das überkommunale Inventar der Denkmalpflege über die Stadt Zürich in Kraft gesetzt, welches die Sternwarte zum Schutzobjekt von kantonaler Bedeutung macht. Nach einer aufwändigen Restauration (1995-1997) beherbergt die Sternwarte seit 1997 das Collegium Helveticum.