Jean Servais se spécialise d'abord dans des rôles de jeune premier. Il est Marius dans l'adaptation des Misérables de Raymond Bernard en 1933. Requis par Pagnol, il incarne Albin, le paysan provençal, frustre et doux, qui aime en secret Angèle (1934). En 1936, il est le séduisant chauffeur d'autocar de Rose de Raymond Rouleau. Le timbre grave de sa voix ainsi que son jeu subtil et retenu lui permettent d'accéder à des rôles dramatiques.

Il obtient des rôles de premier plan dans Les réprouvés (1936) de Jacques Séverac et dans Quartier sans soleil (1939) de Dimitri Kirsanoff. Pendant la seconde guerre mondiale, Jean Servais apparaît brisé sur un lit d'hôpital dans Patricia (1942) de Paul Messier. La même année, dans Mahlia la métisse de Walter Kapps, ses parents contrarient ses sentiments. Tornavara (1943) de Jean Dréville met en scène l'adultère bourgeois par une température de moins quarante degrés. La maturité aidant, Jean Servais nous offre des compositions plus cyniques. Aristocrate fin de race et alcoolique dans La vie de plaisir (1943) d'Albert Valentin, il devient un pensionnaire mystérieux et romantique, attiré par les jeunes garçons dans Une si jolie plage (1948) d'Yves Allégret. Jean Servais s'oriente vers des personnages toujours plus mélancoliques.

En 1954, il tourne le film qui lui apporte la gloire : dans Du rififi chez les hommes de Jules Dassin, il incarne l'inoubliable Tony le Stéphanois. Antihéros éreinté dans Les héros sont fatigués (1955) d'Yves Ciampi, il révèle une sorte de sadisme latent que Luis Buñuel exploite jusqu'au bout dans La fièvre monte à El Pao (1959), où l'acteur compose un gouverneur inquiétant. Jusqu'à son dernier film, L'affaire Crazy Capo (1973) de Patrick Jamain, il interprète aussi bien des drames que des comédies, en France comme à l'étranger, notamment en Italie (Les frères corses d'Anton Giulio Majano), en Espagne et aux États-Unis (Les centurions, 1965, de Mark Robson). Jean Servais est une vedette au théâtre. Il rejoint la compagnie Renaud-Barrault et triomphe aussi bien dans La répétition ou l'amour puni (1950) que dans Volpone (1955) ou dans Marat-Sade (1966).