但是，就是德国真正统治了苏联，希姆莱也只能操纵一个梦想帝国。即使在德国国防军深入苏联内部时，他也知道将会不可避免地同戈林和其他党内对手为争权夺利而发生冲突。事实上，在入侵前，阿道夫•希特勒明确地决定反对希姆莱和戈林日益增长的权力和贪婪。作为希特勒的负责东方的帝国部长，名义上在苏联被占领后负责苏联所有地区的行政管理，希特勒既没有任命希姆莱也没有任命戈林，而是曾经在莫斯科生活的党内资深意识形态理论家阿尔弗雷德•罗森堡。
在苏联行动中希特勒仍然交托给党卫队令人敬畏的权力。希姆莱可以在战线后方独立行动，只向元首本人负责，并且被允许在需要时能够获得一般陆军部队的援助。在后方，他的特别行动队的杀手们从事希特勒巧妙地称为"为政治管理做准备的特殊任务"。
希姆莱的副手海德里希组建了四个特别行动队，以字母A到D命名。他们总共有大约3000名男子和一些妇女。绝大多数官员是保安处、盖世太保和刑事警察的老特务，因他们的残忍而被挑选出来。很多普通士兵是由一般的警察官员和来自武装党卫队的违纪人员组成的，他们当中一些人自愿加入这个工作是为了逃避类似执行任务时睡觉这样的违纪行为而要受到的惩罚。这些部队进行了三个星期的特殊训练，包括责骂他们"不齿于人类的"目标的卑贱，这些人主要是共产党政治委员、吉普赛人和犹太人。始终不大清楚纳粹何时决定消灭犹太人作为一直困扰他们灵魂的种族问题的"最后解决"，但是这个决定很可能早在1941年夏就做出了，并且是希特勒的决定。
特别行动队紧随德国国防军进入到俄罗斯宽1000英里的前线。他们在各地搜寻他们的猎物--城市的犹太人居住区、临时的战俘营和平民村庄。每支部队创造了自己的屠杀特点。南部特别行动队D的指挥官奥托•奥仑道夫描述了一次他的特别行动队执行的典型行动："经过挑选的部队进入一个村庄或城镇，命令有名望的犹太人把所有的犹太人召集到一起进行重新安置。就在被杀死前，他们被勒令交出贵重物品，脱掉他们的外衣。男人、妇女和孩子们被带到一个处决地点，大多数情况下都位于一个挖掘得很深的反坦克壕沟旁边。然后他们被枪杀，跪着或站着，尸体被扔进壕沟里。"
关于屠杀的报告堆放在海德里希的办公桌上，在侵略开始的几周内他乘坐德国空军的飞机巡视后重新回到工作岗位。一些报告用官僚机构的回避措辞来表达--"处置""无害的放弃""占领"。但是来自立陶宛的消息，特别行动队B坦白地报告"目前每天大约500名犹太人同其他从事破坏的人正被消灭掉"。关于9月27日和28日发生在基辅的事情就没有委婉的说法：显然是对红军埋设的地雷爆炸造成德军伤亡的报复，33771个平民--绝大多数是犹太人--在叫作巴比亚峡谷附近的地方被枪杀。1941年底，海德里希的统计数字显示特别行动队在拉脱维亚、立陶宛、爱沙尼亚和乌克兰当地志愿者民团的协助下杀害了近50万人。
同这些行动相比，入侵后一个月左右发生在明斯克城的枪杀算是比较温和的。它被视为特殊只是因为海因里希•希姆莱的出现。这个不寻常的人，希特勒的建筑设计师艾伯特•斯佩尔后来形容他"半是学校校长，半是疯狂的人"，想看看屠杀到底是如何进行的。他命令特别行动队B的指挥官将100名犯人排成行，有男人也有妇女，然后枪杀他们。"当听到第一阵枪声并且牺牲者倒下去时，希姆莱开始觉得不舒服，"事后一个党卫队军官说，"他站立不稳，几乎倒在地上，然后他强打精神。接下来他愤怒地训斥行刑队成员糟糕的枪法。一些妇女还活着，因为子弹只是打伤了她们。"
受这个经历的震动，希姆莱命令他的指挥官们找出一个更人道的集体屠杀的办法。很快特别行动队就在密封的卡车里毒死他们的犯人，这些卡车是经过专门设计--将一氧化碳废气直接排向车里面的受害者。执行者们不停地发怨言，因为卡车一次只能容纳不到25个人，根本不足以进行希姆莱和他的走狗所要求的大规模屠杀。显然，灭绝的办法还不得不进行改进。
