Galleri ROM ble grunnlagt i 1987 av arkitektene Øyvind Mo, Lars Erik Nordland, Martin Roubik, Evelyne Anderson, Kjetil Trædal Thorsen, landskapsarkitekt Alf Haukeland, og fotograf Jiri Havran. Deres visjon var å etablere et galleri som utfordret og utvidet de tradisjonelle grensene for arkitektur i Norge. Galleriet ble drevet som en selveiende stiftelse, og økonomien var i stor grad støttet av en venneforening bestående av lokale arkitektfirmaer, samt gjennom samarbeid med ambassader og Oslo arkitektforening.
Fra starten hadde Galleri ROM som mål å presentere arbeider og ideer som brøt med det etablerte i arkitekturen og å utforske forholdet mellom arkitektur og andre kunstformer. Et viktig mål var å introdusere den arkitektoniske avantgarden til den «norske jevnheten» og utfordre de rådende kriteriene for arkitektonisk estetikk. Galleriet, som de første årene var lokalisert i en trevilla i Professor Dahls gate, disponerte 150 kvadratmeter utstillingsareal fordelt på fire rom i to etasjer. Åpningsutstillingen 4. mars 1987 presenterte tegninger og modeller av arkitektene Peter Cook og Christine Hawley, samt deres studenter ved Städelschule i Frankfurt am Main.
I de første årene hadde galleriet en rekke betydningsfulle utstillinger, inkludert arbeider av Daniel Libeskind, Peter Eisenman, Itsuo Hasegawa, Diller/Scofidio, og John Hejduk. Galleriet satte også fokus på unge norske arkitekter gjennom utstillinger som «Pelikan» i 1988. På denne tiden var det norske arkitekturfeltet i endring, preget av en opphetet økonomi og et generasjonsskifte som muliggjorde oppstarten av mange små arkitektkontorer. Galleri ROM spilte en viktig rolle som en plattform for denne nye generasjonen arkitekter, og flere av initiativtakerne til galleriet var også grunnleggerne av det velkjente arkitektkontoret Snøhetta, som ble etablert samme år som galleriet.