Grupa wykształciła się z męskiego duetu wokalno-gitarowego z Ostrowa Wielkopolskiego tworzącego w początkach lat 80. XX wieku, w skład którego wchodzili: Krzysztof Myszkowski i Andrzej Sidorowicz, wówczas licealiści.
Jednak prawdziwa historia zaczęła się w roku 1984, kiedy duet wziął udział w eliminacjach do Festiwalu Piosenki Studenckiej w Krakowie. Wtedy grupa została po raz pierwszy przedstawiona jako „Stare Dobre Małżeństwo”, gdyż, jak zauważył zapowiadający ich spiker, muzycy znają się i grają ze sobą tak długo, że można im przypisać takie określenie.
Zasiadający wówczas w jury Wojciech Belon, lider Wolnej Grupy Bukowina, zauważył i docenił świeże, optymistyczne brzmienie duetu. W efekcie zaprosił SDM do udziału w koncercie Światło odbywającego się w ramach świnoujskiej FAMY. Tam doszło do zacieśnienia znajomości, która jesienią 1984 zaowocowała wspólnym recitalem. Wtedy to dołączyła do grupy Aleksandra Kiełb, która wsparła ich delikatnie brzmiącym głosem (rozstała się z zespołem w 1989). Niedługo później przybył kolejny ważny wokalista, Sławomir Plota, który dał początkującym kolegom wsparcie w postaci swego głosu i gitary. Na początku roku 1985 dołączyli: Marek Czerniawski (skrzypek) oraz Alina Karolewicz (sopran). W ten sposób po odejściu Andrzeja Sidorowicza powstał silny kwintet muzyczno-przyjacielski.
Wskutek różnicy wizji artystycznych i programowych Alina, a później także Marek, pożegnali się z resztą załogi. W miejsce Marka dokooptowano znanego w środowisku animatora festiwali piosenki turystycznej - skrzypka Wojciecha Czemplika. W 1988 współpracę z zespołem rozpoczął Roman Ziobro, a w 1989 - Ryszard Żarowski (wcześniej grywał w zespołach: Małolepsi, AKT-Wrocław, Bez Idola). Akustykiem zespołu został Wojciech Gołosz.
Od 1989 do 2002 SDM było formacją "męską" o stabilnym składzie: Krzysztof Myszkowski, Wojciech Czemplik, Ryszard Żarowski, Roman Ziobro. Ten ostatni opuścił zespół w 2002 r. W jego miejsce przez jeden sezon na gitarze basowej grał Robert Szydło, później do zespołu przystał Andrzej Stagraczyński.
W 2006 z grupą związał się gitarzysta Dariusz Czarny (wcześniej - Bohema "kędzierzyńska"), a w 2007 - Przemysław Chołody (harmonijka).
Równolegle do Starego Dobrego Małżeństwa - Krzysztof Myszkowski, Ryszard Żarowski i Andrzej Stagraczyński - tworzą grupę The Gruz Brothers Band, w której wykonują piosenki do tekstów Jana Rybowicza, Edwarda Stachury i Adama Ziemianina. Od 2005 r. ukazały się dwie płyty "hybrydowej formacji": 2005 - Dymi mi z czachy (Krzysztof Myszkowski & The Gruz Brothers Band); 2006 - Biała gorączka Live (2 CD - koncert w Radiu Gdańsk).