Правда, спустя полтора года он вернулся в Москву и до назначения на пост председателя КГБ более семи лет занимал должность первого заместителя главы МВД СССР. Что касается Константина Фёдоровича Лунёва, который также перешёл на работу в КГБ с должности первого заместителя министра внутренних дел СССР, то его знакомство и совместная работа с Н.С.Хрущёвым пришлись на послевоенное время, когда в 1949–1953 годах в бытность того первым секретарём Московского обкома партии, он занимал довольно важный пост заведующего Административным отделом МК КПСС.
А уже 18 марта 1954 года приказом И.А. Серова были назначены его четыре заместителя — И.Т. Савченко, П.И.Григорьев, В.А.Лукшин и П.И.Ивашутин — и определена структура центрального аппарата КГБ СССР, костяк которого составили Первое Главное управление (разведка), которое возглавил кадровый разведчик генерал-майор Александр Семёнович Панюшкин; Второе Главное управление (контрразведка), главой которого стал кадровый чекист генерал-лейтенант Павел Васильевич Федотов; Третье Главное управление (военная контрразведка), руководителем которого был назначен кадровый армейский политработник генерал-лейтенант Дмитрий Сергеевич Леонов; Четвёртое управление (секретно-политическое для борьбы с антисоветским подпольем), которое возглавил кадровый чекист генерал-лейтенант Фёдор Петрович Харитонов; Пятое управление (контрразведка на особо важных объектах), во главе которого встал тоже кадровый чекист генерал-лейтенант Пётр Иванович Ивашутин; Шестое управление (контрразведка на транспорте), начальником которого стал кадровый партработник полковник Михаил Иванович Егоров; Седьмое управление (наружное наблюдение), которое возглавил кадровый чекист генерал-майор Георгий Прокопьевич Добрынин; Восьмое Главное управление (шифровально-дешифровальное), главой которого был назначен кадровый партийный работник генерал-майор Василий Андреевич Лукшин; Девятое управление (охрана высших руководителей партии и правительства), начальником которого стал кадровый партийный работник, проработавший несколько лет в хрущёвском МГК партии генерал-майор Владимир Иванович Устинов, и Десятое управление (Комендатура Московского Кремля), главой которого был переназначен бывший командир армейского корпуса генерал-лейтенант Андрей Яковлевич Веденин.
Одновременно Н.С.Хрущёв инициировал новый погром «бериевских» кадров, жертвой которого стали многие кадровые чекисты, обладавшие огромным опытом работы.