La persécution des Tsiganes en Allemagne et, de fait dans toute l'Europe, est antérieure à l'arrivée au pouvoir des nazis en 1933. Dès 1899, la police de Bavière tint un registre central des Tsiganes. Elle constitua par la suite une commission chargée de coordonner l'action de la police contre les Tsiganes à Munich. En 1933, la police appliqua plus rigoureusement la législation existante, à l'encontre de ceux dont le mode de vie était qualifié de "tsigane". Les nazis pensaient que les Tsiganes étaient racialement "indésirables" et les persécutèrent systématiquement.

Après avoir décrété que les Tsiganes avaient du sang étranger, les nazis cherchèrent à procéder à leur identification systématique. La définition de la "tsiganité" était essentielle pour entreprendre une persécution en règle. Il était plus aisé de déterminer qui était juif parce que l'Etat avait facilement accès aux registres tenus par les communautés religieuses. Les Tsiganes d'Allemagne étaient chrétiens depuis plusieurs siècles, de sorte que les registres ecclésiastiques s'avéraient inutiles pour déterminer leur origine.

Les nazis eurent recours à l'hygiène raciale pour déterminer, en se fondant sur des caractéristiques physiques, la "tsiganité". Le docteur Robert Ritter, un psychologue pour enfants de l'Université de Tübingen, devint l'expert principal pour ces questions. Sa spécialité était la biologie criminelle, discipline selon laquelle le comportement criminel était génétiquement déterminé. En 1936, Ritter fut nommé directeur du Centre de recherche sur l'hygiène raciale et la biologie démographique au ministère de la santé et commença une étude raciale des Tsiganes. Il entreprit de localiser et de classer par type racial les quelque 30 000 Tsiganes vivant en Allemagne. Il se livra à des examens médicaux et anthropologiques en vue de les classer en catégories distinctes. Malgré les affirmations de Ritter qui assurait baser ses décisions sur sa pseudo-science, ses équipes interrogeaient les Tsiganes afin de déterminer et de répertorier leur généalogie. Les enquêteurs de Ritter menacèrent leurs sujets d'être arrêtés et incarcérés dans des camps de concentration s'ils ne donnaient pas le nom de leurs proches et l'adresse de leur dernière résidence connue. De cette façon, Ritter dressa un registre de presque tous les Tsiganes vivant alors en Allemagne.

Dans les conclusions de son étude, Ritter déclarait que les Tsiganes, originaires d'Inde, étaient à l'origine aryens, mais qu'ils avaient été corrompus en se mêlant à des peuples inférieurs au cours de leur longue migration. Ritter estimait qu'environ 90% des Tsiganes d'Allemagne étaient de sang mêlé, donc porteurs de sang "dégénéré" et de caractéristiques criminelles. Comme ils étaient supposés constituer un danger, Ritter recommanda qu'ils soient stérilisés de force. Les Tsiganes de sang pur, affirmait Ritter, devaient être mis dans des réserves afin de poursuivre les recherches. Dans la pratique, cette distinction entre les Tsiganes de "sang pur" et ceux qui avaient un sang mêlé fut rarement faite. Tous furent soumis à la politique nazie de persécution et, plus tard, aux assassinats en masse.

En 1936, les nazis concentrèrent toutes les forces de police d'Allemagne entre les mains d'Heinrich Himmler, chef de la SS et de la police allemande. Par conséquent, la politique policière envers les Tsiganes fut également centralisée. A Berlin, Himmler fonda le Service central du Reich pour la suppression de la nuisance tsigane. Cet organisme reprit et étendit les mesures bureaucratiques de persécution systématique à l'encontre de ce groupe.

L'une des premières décisions de ce service consista à soumettre les Tsiganes aux lois raciales. Après 1936, les Tsiganes furent soumis aux lois de Nuremberg, à la loi de prévention d'une descendance atteinte de maladie héréditaire et à celle sur les criminels récidivistes dangereux. L'Etat fit stériliser de nombreux tsiganes.

Peu avant l'ouverture des Jeux olympiques de Berlin de 1936, la police ordonna l'arrestation de tous les Tsiganes de la capitale et de ses environs et leur relogement de force à Marzahn, un terrain vague de l'est de Berlin situé près d'un cimetière et d'un dépotoir d'eaux usées. La police encercla tous les campements tsiganes et transféra les habitants et leurs roulottes à Marzahn. Les arrestations commencèrent à 4 heures du matin, le 16 juillet 1936. La police en tenue gardait le camp, restreignant la libre circulation à l'intérieur et à l'extérieur du camp. Nombre des 600 Tsiganes arrêtés continuèrent à se rendre chaque jour à leur travail, mais devaient rentrer chaque soir. Par la suite, ils furent astreints à des travaux forcés dans des usines d'armement.

Dans toute l'Allemagne, des citoyens et des détachements de police contraignirent les Tsiganes à se regrouper dans des camps municipaux, qui devinrent par la suite des camps de travaux forcés. Marzahn et les camps tsiganes (Zigeunerlager), créés par les nazis dans d'autres villes entre 1935 et 1938, constituèrent une étape préliminaire au génocide. Les hommes de Marzahn, par exemple, furent envoyés à Sachsenhausen en 1938 et leurs familles furent déportées à Auschwitz en 1943.

Les Tsiganes furent également arrêtés à titre individuel comme "asociaux" ou "criminels récidivistes" et envoyés en camps de concentration. Presque tous les camps d'Allemagne détenaient des prisonniers tsiganes. Dans les camps, tous les prisonniers portaient des insignes de différentes formes et de différentes couleurs, identifiant chaque catégorie de prisonniers. Les Tsiganes portaient des pièces triangulaires de tissu noir, le symbole des "asociaux", ou vert, le symbole des criminels "professionnels".