Børsen var opprinnelig byens viktigste handelsplass der byens handelsmenn kunne orientere seg om priser, kjøpe og selge varepartier, omsette veksler og avtale befraktninger. Børsen ble omdannet til offentlig børs i 1839 og var i virksomhet til 1988.

For drammensere flest er Børsen byens fremste festlokale med en vakker Børssal som en verdig ramme om festlige anledninger. Børsens festlokaler har stått i sentrum ved kongebesøk og store festdager i Drammen.

Børsbygningen ble innviet i 1871 som det største offentlige bygg til Bragernes torg. Bygningen ble tegnet av arkitekt Emil Victor Langlet, og skulle romme nødvendige funksjoner for et effektivt næringsliv.

Etter at børsvirksomheten ble nedlagt i 1988, ble børsbygningen overtatt av en stiftelse som ivaretar bygningen. Børsen har de senere år gjennomgått en omfattende ombygging ved utvidelse av Steen & Strøm Magasinet.