Âgé de soixante-et-un ans, Joseph Schaefer décide de franchir le pas en politique le 27 mars 1949, lors des secondes élections cantonales d'après-guerre. Il se positionne candidat sur le canton de Saint-Dié face à l'élu sortant, Yvan Goguel de Toux. Arrivé en tête au premier tour de scrutin, Joseph Schaefer se retrouve opposé à André Sester et à Gaston Colat... et non pas au chirurgien-dentiste qui renonce à défendre son mandat. Vainqueur de cette consultation électorale, l'artisan déodatien est de nouveau présent au renouvellement triennal du 17 avril 1955. Six candidats prétendent à son fauteuil : Roger Ulrich, Robert Martin, Robert Marchal, Paul Didier et Roger Vistorky. Ce dernier, mécanicien à la S.N.C.F., est son principal challenger, malgré l'excellent score de Roger Ulrich, adjoint au maire de Saint-Dié. Réélu, Joseph Schaefer ne sollicitera plus les suffrages de ses administrés au terme de cette mandature.
Le 21 septembre 1976, l'ancien conseiller général décède à Golbey. La petite église d'Hurbache est le témoin d'obsèques simples et émouvantes à la fois. Le père Poirson, ancien supérieur du séminaire de Saint-Dié, assisté de l'abbé Saint-Dizier, curé de la paroisse, célèbre la messe d'enterrement. Le père Poirson rappelle qu'en cette même église, il a célébré pendant la guerre les obsèques de Claude Schaefer, héros de la Résistance, et voici quelques années, celles de madame Schaefer. Il sait en termes sobres retracer la vie du défunt, une vie de patriotisme, de dévouement, au service des autres. Ingénieur de l'école centrale des arts et métiers, Joseph Schaefer était officier de réserve, titulaire de la Légion d'honneur, croix de guerre, combattant volontaire de la Résistance.