Une mosaïque de victimes
Bien que les Juifs aient été leur première cible, les nazis et leurs collaborateurs persécutèrent également d'autres groupes pour des raisons raciales ou idéologiques. Des opposants politiques — principalement des communistes, des socialistes, des sociaux-démocrates et des dirigeants syndicaux — firent partie des premières victimes de la discrimination nazie en Allemagne. En 1933, les nazis créèrent le premier camp de concentration à Dachau pour y détenir les prisonniers politiques. Les nazis persécutèrent également les écrivains et les artistes dont les œuvres étaient considérées comme subversives ou qui étaient juifs, les soumettant à des arrestations, des restrictions économiques et d'autres formes de discrimination.
Tsiganes pour des motifs raciaux. L'interprétation des Lois de Nuremberg de 1935 (qui définissaient les Juifs par le sang selon des théories racistes) fut plus tard étendue également aux Tsiganes. Les nazis qualifièrent les Tsiganes de "rétifs au travail" et "asociaux" — autrement dit, dans le cadre nazi, improductifs et inadaptés. Les Tsiganes déportés dans le ghetto de Lodz furent parmi les premiers tués par camions à gaz dans le camp de Chelmno en Pologne. Plus de 20 000 Tsiganes furent également déportés au camp d'Auschwitz-Birkenau, où la plupart périrent dans les chambres à gaz.
Les nazis considéraient les Polonais et les autres peuples slaves comme inférieurs, les vouaient à l'assujettissement ou au travail forcé et au final à l'anéantissement. Les Polonais qu'ils considéraient comme idéologiquement dangereux (dont des milliers d'intellectuels et de prêtres catholiques) furent la cible d'une opération connue sous le nom d'AB-Aktion. Entre 1939 et 1945, au moins 1,5 million de citoyens polonais furent déportés en territoire allemand pour y être soumis au travail forcé. Des centaines de milliers furent également emprisonnés dans des camps de concentration nazis. On estime que les Allemands tuèrent au moins 1,9 million de civils polonais non-juifs au cours de la Seconde Guerre mondiale.
Dans l'Union soviétique occupée, le Kommissarbefehl (ordre donné à l'armée allemande par le haut commandement des forces armées) ordonna l'assassinat des responsables politiques de l'Armée rouge et des commissaires politiques du Parti communiste. Au cours de l'automne et de l'hiver 1941-42, les autorités militaires et la police de sécurité allemandes menèrent conjointement une entreprise raciste d'extermination massive des prisonniers de guerre soviétique : des Juifs, des personnes aux "traits asiatiques" ainsi que d'importants chefs politiques et militaires furent sélectionnés et fusillés. Environ trois millions d'autres furent détenus dans des camps improvisés, sans infrastructure convenable, ni nourriture ni médicaments avec l'intention délibérée de les faire mourir.
Les nazis incarcérèrent des chefs de l'Eglise catholique opposés au nazisme ainsi que des milliers de Témoins de Jéhovah qui refusaient de saluer Adolf Hitler ou de servir dans l'armée allemande. On estime que 200 000 handicapés mentaux ou physiques furent assassinés dans le cadre du "Programme d'euthanasie" nazi. Les homosexuels masculins furent également persécutés par les nazis qui considéraient que leur comportement représentait un obstacle à la préservation de la nation allemande. Les homosexuels considérés comme "chroniques" furent emprisonnés dans des camps de concentration, comme le furent les individus accusés de comportement "asocial" ou criminel.
L'idéologie nazie identifia une multitude d'ennemis et conduisit à la persécution systématique ainsi qu'à l'assassinat de plusieurs millions de personnes juives comme non juives.