Der 230 Meter lange Kleine Viadukt, auch Dune-Viadukt genannt, wurde wie sein etwa drei Kilometer weiter östlich gelegener „großer Bruder“ in Altenbeken in den Jahren 1851 bis 1853 als Teil der Eisenbahnstrecke Paderborn – Altenbeken – Warburg – Kassel erbaut. Er überspannt in einer Höhe von 33 Metern mit 11 Bögen das Tal der Dune. Der Altenbekener Viadukt besitzt allerdings 24 Bögen und ist gut doppelt so lang wie der Dune-Viadukt. Die Eisenbahnstrecke von Paderborn nach Warburg wurde im Juli 1853 durch den preußischen König Friedrich Wilhelm IV. eröffnet, der auch beim Dune-Viadukt aus seinem Salonwagen ausstieg, um das Bauwerk auf einer eigens dazu errichteten Terrasse in Augenschein zu nehmen.
Im Februar 1945, kurz vor Ende des Zweiten Weltkriegs, wurde der Dune-Viadukt – wie auch der Altenbekener – durch Bombentreffer schwer beschädigt, da die Eisenbahnlinie eine wichtige Nachschubroute an die Westfront für das Dritte Reich war. Die Betonummantelung um den achten Stützpfeiler des Kleinen Viadukts zeugt noch heute davon.
Um breitere Ladungen über den Viadukt transportieren zu können, wurden 1950 die mächtigen Sandsteinbrüstungen entfernt und durch Eisengeländer ersetzt. Als man 1970 wegen der zunehmend größer werdenden Transportlasten die Viaduktplatte aus Beton fertigte, „entsorgte“ man etliche schwere Sandsteinquader rechts und links in die Hänge des Viadukts. Einige davon wurden anlässlich des 150-jährigen Bestehens des Viadukts im Jahr 2003 geborgen und sind nun beim zum Viadukt hin gelegenen Parkplatz gelagert. Dort sind außerdem zwei Rundbögen zu sehen: Einer ist in alter Mauertechnik aus Sandstein gefertigt, der andere aus neuzeitlichem Kalksandstein errichtet.