Bien que les Juifs aient été leur première cible, les nazis et leurs collaborateurs persécutèrent également d'autres groupes pour des raisons raciales ou idéologiques. Des opposants politiques -- essentiellement des communistes, des socialistes, des socio-démocrates et des dirigeants syndicaux firent partie des premières victimes de la discrimination nazie en Allemagne. Les nazis persécutèrent aussi les auteurs et les artistes juifs ou ceux dont les œuvres étaient considérées comme subversives, les soumettant à des arrestations, à des restrictions économiques et à d'autres formes de discrimination. Les nazis s'en prirent aux Tsiganes pour des raisons raciales. Ils furent ainsi parmi les premiers à être massacrés dans des camions à gaz mobiles au centre de mise à mort de Chelmno en Pologne. Les nazis déportèrent également plus de 20 000 Tsiganes au camp d'Auschwitz-Birkenau où la plupart d'entre eux furent tués dans les chambres à gaz. Les nazis considéraient les Polonais et les autres peuples slaves comme inférieurs. Les Polonais qui étaient considérés comme idéologiquement dangereux (notamment les intellectuels et les prêtres catholiques) furent la cible des exécutions. Entre 1939 et 1945, au moins 1,5 million de citoyens polonais furent déportés en territoire allemand pour y être soumis au travail forcé. Des centaines de milliers furent également emprisonnés dans des camps de concentration nazis. On estime que les Allemands tuèrent au moins 1,9 millions de civils polonais non-juifs au cours de la seconde guerre mondiale.

Au cours de l'automne et de l'hiver 1941-1942, les autorités allemandes mènent en Union soviétique occupée une entreprise raciste d'extermination massive de prisonniers de guerre soviétiques: des Juifs, des personnes aux "traits asiatiques" et d'importants chefs politiques et militaires furent sélectionnés et fusillés. Environ trois millions d'autres furent détenus dans des camps improvisés, sans infrastructure convenable, sans nourriture ni médicaments avec l'intention délibérée de les faire mourir. En Allemagne, les nazis incarcérèrent des chefs de l'Eglise catholique s'opposant au nazisme ainsi que des milliers de Témoins de Jéhovah qui refusaient de saluer Adolf Hitler ou de servir dans l'armée allemande. On estime que 200 000 handicapés mentaux ou physiques furent massacrés par les nazis dans le cadre de ce que que ces derniers appelaient le "Programme d'euthanasie". Les homosexuels masculins furent également persécutés par les nazis qui considéraient que leur comportement représentait un obstacle à la préservation de la nation allemande.