Принцу Антону и Анне Леопольдовне после ужасов Раненбурга жизнь в Холмогорах казалась настолько прекрасной, что они даже не вспоминали об Иоанне. Правда, на то были и другие причины. Принц после раненбургского ""лечения"" стал равнодушен почти ко всему, что заставляло действовать, часто бредил о своих дворянах в Брауншвейге и т. д. Анна Леопольдовна со дня на день ждала ребенка, страдала духовно и физически и целыми днями плакала о невозвратном прошлом.
Иоанн рос, развивался физически, но перенесенные потрясения наложили на него неизгладимый отпечаток.
О странностях майора донесли в Санкт-Петербург, но там решили не назначать к Иоанну Антоновичу другого тюремщика. Императрица приказала отправить в Холмогоры жену Миллера — добродушную и богобоязненную немку, которая все эти годы ничего не знала о своем супруге.
Иоанн Антонович оправился настолько, что стал серьезно интересоваться своим положением. В это время ему было уже 15 лет, добрая майорша нашла возможность завязать отношения с принцем Антоном. Через нее отец с сыном узнали, что живут рядом, и стали переписываться, однако благополучие это длилось недолго.
В 1756 году был схвачен тобольский купец-раскольник И. Зубарев.