Der gebürtige Berliner begann seine Bühnenkarriere nach dem Zweiten Weltkrieg in Weimar. Nach seiner Zeit als Intendant in Erfurt kam er durch die DEFA 1954 zum Film.

1955 siedelte er in die Bundesrepublik über und spielte vorwiegend in Fernsehspielen. Ab 1974 wurde er an der Seite von Hansjörg Felmy im Tatort bekannt und ermittelte in zwanzig Folgen als Heinz Haferkamps Assistent Willi Kreutzer in Essen und Umgebung. Bereits Mitte der 1960er Jahre hatte Semmelrogge in der Serie Der Nachtkurier meldet … den Inspektor Stegemann gespielt. 1974 stand er für Werner Herzogs Kaspar-Hauser-Film Jeder für sich und Gott gegen alle in der Rolle des Zirkusdirektors vor der Kamera, 1979 verkörperte er in dessen Filmadaption von Georg Büchners Woyzeck den menschenverachtenden Doktor, der Woyzeck als Versuchskaninchen missbraucht. In Die Vorstadtkrokodile war Semmelrogge 1977 als Besitzer der Minigolfanlage zu sehen. Auch in den Krimiserien Der Kommissar, Derrick und Der Alte trat er regelmäßig auf.

Willy Semmelrogge starb an einer Fischvergiftung und ist auf dem Friedhof im schwäbischen Bad Boll im Ortsteil Eckwälden beigesetzt.Er ist der Vater der Schauspieler Martin Semmelrogge und Joachim Bernhard sowie Großvater der Schauspieler Dustin und Joanna Semmelrogge.