Herbert Beerbohm Tree, fondateur de l'Académie Royale d'Art Dramatique, reconnaît son talent d'acteur et lui paie des leçons afin de corriger son élocution (Rains était affublé d'un terrible accent cockney et était de plus incapable de prononcer le son « r »).

C'est pourtant grâce à sa voix riche et profonde qu'il se fait connaître à Hollywood dans un rôle où l'on ne découvre son visage qu'à la dernière scène, puisqu'il s'agit de L'Homme invisible de James Whale. À partir de 1936, engagé par la Warner, il se voit confier toute une série de personnages sombres. Il incarne un sénateur corrompu dans Monsieur Smith au Sénat (Mr. Smith Goes to Washington) (1939), un policier français véreux dans le très célèbre Casablanca (1942), rôles dans lesquels il excelle (cet emploi lui vaudra quatre nominations aux Oscars).

Par la suite, les studios Universal lui confient le rôle-titre dans le remake de 1943 du Fantôme de l'opéra, où il succède à une star du cinéma muet d'horreur, Lon Chaney, l'homme aux mille visages (il avait auparavant tourné avec le fils de ce dernier, Lon Chaney Jr., dans Le Loup-garou).

Bien sûr Rains est souvent au second plan, derrière des acteurs jugés plus sympathiques et/ou séduisants : Cary Grant, Fredric March, Errol Flynn, James Stewart, Paul Muni, Jean Gabin, Glenn Ford, Robert Mitchum, Burt Lancaster, Rock Hudson, jusqu'à Richard Chamberlain en 1963. Il s'illustre dans des classiques tels que Robin des Bois de Curtiz ou Je suis un criminel de Berkeley. Mais il fut aussi un séducteur, comme son compatriote James Mason : Claude Rains tint des premiers rôles face à Kay Francis, Lana Turner, Vivien Leigh, Ann Todd et surtout Bette Davis, dont il était l'acteur préféré.

En 1946, dans Les Enchaînés, Alfred Hitchcock exploite parfaitement l’expressivité émotive de l’acteur, dont le visage parvient à traduire avec une grande subtilité toute une palette de sentiments contraires. Truffaut note à propos de son jeu dans Les Enchaînés : « C’est assez touchant, ce petit homme amoureux d’une grande femme. » Dans ce rôle de composition, qui lui vaut une nouvelle nomination aux Oscars, Rains passe avec aisance de l'expression de l’amoureux à celle de l’homme trahi par la même femme (Ingrid Bergman). Il doit alors dissimuler ses émotions et jouer l’homme machiavélique avant de devenir un homme traqué. Tout au long de ce film, ses micro-comportements et son regard passent du rayonnement du début (retrouvailles avec Alicia) à la haine la plus féroce (trahison et désir de vengeance) pour s'achever dans la peur.

On le voit encore durant les années 1950 dans divers rôles de qualité où s’expriment toujours avec subtilité ses capacités de jeu d’acteur, qui n'excluent ni l’humour ni l’ironie ou la malice. Claude Rains, idole des cinéphiles, finit sa carrière dans le rôle du roi Hérode, après avoir incarné Jules César et Napoléon.

Dans la série Heroes, un personnage appelé Claude Rains a la capacité de devenir invisible, en hommage à l'acteur du même nom et au film qui le rendit célèbre.