El este membru al Forumului Democrat al Germanilor din Romania (FDGR) inca de la infiintare, din 1990, iar din 2001 este presedintele formatiunii.

Klaus Iohannis s-a lansat in politica in 2000, cand FDGR a decis sa aiba un candidat propriu la Primarie, cu scopul de a obtine mandate de consilieri locali.

Iohannis a fost in relatii bune cu presedintele Traian Basescu si cu PDL din 2004, iar in 2007, cand Sibiul a fost Capitala Culturala Europeana, acestea au devenit si mai stranse, in urma vizitelor repetate pe care seful statului le-a facut la Sibiu.

Inaintea alegerilor locale din 2008, insa, relatia s-a rupt, dupa ce Daniel Thelmann, primarul Mediasului, a plecat din FDGR pentru a candida pe listele PDL, castigand, de altfel, un nou mandat.

In octombrie 2009, dupa caderea Guvernului Boc, Klaus Iohannis a fost propus de PSD, PC, UDMR, PNL si minoritati pentru postul de premier, mandatul sau urmand sa fie formarea un guvern care sa gestioneze problemele economice urgente si sa asigure organizarea de alegeri prezidentiale. In schimb, presedintele Traian Basescu l-a preferat pe consilierul BNR Lucian Croitoru.