Но не только удаленность служила наказанием для ссылаемых в этот край людей, местный климат тоже увеличивал их страдания. Летом, при жаре в 27°, над городом поднимались болотные испарения и воздух становился невыносимо душным; зимой морозы достигали 45°, земля целых восемь месяцев была покрыта снегом, холод захватывал дыхание и мгновенно превращал выдыхаемый пар в иней…
В эти места и привезли А. Д. Меншикова с детьми, поместив их в острог, построенный в 1724 году. Это было длинное деревянное здание с узкими закругленными окнами, разделенное на четыре комнаты: одну занял князь с 13-летним сыном, другую — его дочери, третью — прислуга, а в четвертой хранились съестные припасы.
Еще до приезда ссыльных разнеслись слухи о прибытии любимца Петра I, и многие заранее радовались, что увидят в оковах человека, который еще так недавно заставлял трепетать всю Россию. Лишь только он въехал в Березов, два боярина, отправленные в ссылку в его правление, вышли навстречу и провожали все семейство бранными словами. Ничуть не оскорбившись, князь сказал одному из них:"
"Твои упреки и твои поносительные слова справедливы. Я заслужил, удовлетвори себя, насыть себя хоть сим, потому что ты не можешь более мстить человеку в моем состоянии.
Несчастье свое светлейший князь сносил с большой твердостью. Никто никогда не слышал, чтобы он роптал на судьбу; ежедневно внушал он детям своим, что воле Божьей и воле государевой следует свято повиноваться. Но иногда и он не мог скрыть ужаса, какому подверг невинных детей своих, и тогда он рыдал, терзая себя до исступления.
Еще в Тобольске ссыльный князь купил пилы разной величины, топоры, гвозди и орудия труда, нужные для земледелия. Не забыл приобрести невод и удочки, запасся разными злаковыми семенами. Когда все закупки были сделаны, остаток из отпущенных ему 500 рублей просил отдать бедным.