По повелению Бирона их привезли в Новгород, подвергли жестоким пыткам, а потом приговорили к смерти: князя Ивана Алексеевича — колесовать, а затем отсечь ему голову, остальным — отрубить головы…
Бирон не пощадил и братьев и сестер князя Ивана Алексеевича: князей Александра и Николая били кнутом, потом им урезали языки и сослали в каторжные работы; князя Алексея отправили на Камчатку матросом, а княжон заключили в разные монастыри. В Березове оставалась одна княгиня Наталья Борисовна с двумя малолетними сыновьями, родившимися в этом суровом краю.
Долго не знала она ничего о судьбе неизвестно куда увезенного мужа. Но в конце ноября на престол вступила Елизавета Петровна; по указу императрицы все Долгорукие, близкие ее племяннику Петру II, были возвращены из ссылки.
Наталья Борисовна вернулась в Петербург молодой женщиной, тогда ей было всего 28 лет. Можно было бы начать жизнь заново, но она осталась верна любви и памяти покойного мужа, отклонила усиленные приглашения ко двору и отказала всем женихам.
В Санкт-Петербурге княгиня поселилась в доме своего родного брата Петра Борисовича Шереметева, одного из самых богатых людей России и владельца выстроенных им усадьб Кусково и Останкино. Унаследовав от отца 80 000 крепостных крестьян, он не отдал вернувшейся из ссылки сестре законную часть отцовского наследства. И тогда княгиня решила хлопотать о возврате ее детям 16 000 душ, конфискованных у мужа. Она обратилась с просьбой о содействии к всемогущему тогда Лестоку — императорскому лейб-медику.
Тот взялся за дело и даже ручался за успех его, но потребовал за свои хлопоты великолепные часы с курантами, купленные графом П. Б. Шереметевым в Лондоне за 7000 рублей. Граф решительно не хотел расставаться с часами, Лесток отказался хлопотать, и правительство возвратило Наталье Борисовне только 2000 крестьянских душ. Княгиня очень скромно устроилась в Москве и целиком посвятила себя воспитанию сыновей. А когда дети выросли, она перебралась в Киев и там приняла постриг во Флоровском монастыре.
Но несчастья не оставляли Н.Б Долгорукую и здесь. Младший сын ее, Дмитрий, сошел с ума от несчастной юношеской любви. Наталья Борисовна, в монашестве Нектария, перевезла сына в Киев в надежде, что уединенная иноческая жизнь исцелит его. Но, чтобы постричь молодого князя из знаменитого рода, нужно было согласие императрицы: оно было получено только в царствование Екатерины II, но оказалось уже не нужным.