En 1947, Paul Mercey débuta au cinéma dans « La carcasse et le tord-cou » de René Chanas avec Michel Simon puis enchaîne pendant une dizaine d'années des silhouettes voire des rôles mineurs parfois non crédités. Entre- temps, il se consacre à la scène en interprétant des pièces de théâtre comme « Douze hommes en colère » (1958) ou des opérettes comme « Monsieur Carnaval » (1965) avec Georges Guétary.

À l'instar de Robert Dalban ou de Philippe Castelli mais sans leur notoriété, il va devenir un des visage familiers du cinéma français qui s'impose en « troisième couteau » à la fin des années 50. Patron de bar dans « Archimède le clochard » (1958) de Gilles Grangier avec Jean Gabin, rôle de prédilection qu'il interprète dans « Les tontons flingueurs » (1963) de Georges Lautner avec Lino Ventura. Gilles Grangier qu'il retrouve dans « Les vieux de la vieille » (1960) avec Jean Gabin, Pierre Fresnay et Noël-Noël et dans « Le gentleman d'Epsom » (1962). Avec son physique rondouillard, on le retrouve furtivement en homme des bains turcs dans "La grande vadrouille" (1966), homme du 5ème étage dans "Le cerveau" (1968) ou automobiliste vindicatif des "Aventures de Rabbi Jacob" (1973), tous trois réalisés par Gérard Oury. Au cinéma, au-delà de ses 150 films, il n'obtient que deux rôles conséquents : dans le drame « Les honneurs de la guerre » (1960) de Jean Dewever et dans la comédie « Le tatoué » (1968) de Denys de la Pattelière avec Jean Gabin et Louis de Funès où il joue l'entrepreneur Pellot.

Dans les années 60, Paul Mercey interprète des sketches avec Jean Yanne à l'époque de l'ORTF : « Circulation à Rome » ou « Les routiers melomanes ». En 1964, il participe à l'émission "1=3" de Jacques Martin et Jean Yanne, supprimée après un sketch qui compare les campagnes napoléoniennes à une course cycliste. Toujours à la télévision, on l'aperçoit dans la série "Saintes Chéries" (1965) avec Micheline Presle et Daniel Gélin ainsi que dans des pièces de l'émission « Au théâtre ce soir » de Pierre Sabbagh. La collaboration avec Jean Yanne se poursuit sur le grand écran : il est délégué suisse dans "Moi y'en a vouloir des sous !" (1973), résistant dans "Les chinois à Paris" (1974), ministre de l'intérieur dans "Chobizeness" (1975), commerçant dans "Deux heures moins le quart avant Jésus-Christ" (1982) et chef des sans-culottes dans "Liberté, égalité, choucroute" (1984), le dernier de ses rôles.

Paul Mercey décède le 7 janvier 1988 à Férolles-Attilly (Seine et Marne). Incinéré au crématorium de Valenton (Val de Marne), ses cendres sont dispersées.