为实施大规模屠杀，纳粹于 1939 年底开始进行毒气实验，他们利用化工制造的纯一氧化碳气体杀害精神病患者（“安乐死”）。1941 年 6 月德国入侵苏联，开始由特别行动队（流动屠杀分队）大量射杀平民，随后纳粹开始实验利用毒气车进行大规模屠杀。毒气车是一种密封型卡车，其发动机排气装置转向密封车厢内部。特别行动队（流动屠杀分队）用毒气杀害了成千上万人，大部分是犹太人、罗姆人（吉普赛人）和精神病患者。1941 年，党卫军得出结论：将犹太人驱逐到灭绝营进行毒杀是实现“最终解决”的最有效途径。同年，纳粹启用了位于波兰的海乌姆诺 (Chelmno) 灭绝营。来自波兰罗兹 (Lodz) 地区和罗马的犹太人在这里的移动毒气车中遇害。

1942 年，纳粹在波兰贝乌热茨 (Belzec)、索比堡 (Sobibor)和特雷布林卡 (Treblinka) 屠杀中心的固定毒气室（利用柴油发动机产生的一氧化碳）开始有组织地实施大规模屠杀。受害者从运送牲畜的列车上“卸载”后，被告知必须进入“浴室”消毒。纳粹和乌克兰守卫时常辱骂受害者甚至拳打脚踢，强迫他们举起手臂进入“浴室”，以便让毒气室容纳尽可能多的人。毒气室里的受害者越多，窒息的速度就越快。纳粹一直在寻找更有效率的灭绝方式。他们在波兰奥斯维辛 (Auschwitz) 集中营实验使用“齐克隆 B”（Zyklon B，原用于熏蒸消毒），这种药丸在接触空气时会变成致命毒气。实验证明，这是最快速的毒杀途径，因此它被选作奥斯维辛大规模屠杀的方式之一。在驱逐的高峰时期，每天有多达 6,000 名犹太人死于奥斯威辛的毒气室内。虽然施图特霍夫 (Stutthof)、毛特豪森 (Mauthausen)、萨克森豪森 (Sachsenhausen) 和拉文斯布吕克 (Ravensbrueck) 等集中营不是专门的灭绝营，但其中也有小型的毒气室。