Его часовой умер от нее у двери, а он ничего не подозревал об эпидемии… Сырость в его тюрьме была такой, что все его платье пропитывалось ею, табак покрывался плесенью; его здоровье настолько пострадало, что у него выпали все зубы.
Тюремный врач заметил расстройство здоровья И. В. Поджио, но заявил узнику, что средств вылечить его ""при спертом воздухе"" тюрьмы нет, и стал уговаривать терпеливо переносить все тяготы заключения. Однажды заключенный увидел лунный свет, падавший на наружную стену крепости.
По случаю рождения великого князя Михаила Николаевича в декабре 1832 года был издан высочайший манифест, которым несколько уменьшались сроки каторги ссыльным декабристам.
В июле 1834 года истек срок каторжных работ, назначенных И. В. Поджио, и узник вышел из крепости. Ему было всего 42 года, но выглядел он уже дряхлым стариком, однако ни болезни, ни долгие годы тюрьмы не ослабили его любви к жене. Отправляясь в ссылку в Сибирь, он был уверен, что найдет ее там; если нет, то немедленно выпишет к себе. Местом поселения И. В. Поджио назначили село Усть-Кудинское, располагавшееся примерно в 30 километрах от Иркутска.
В 1839 году вышел на поселение его брат А. В. Поджио, и они стали жить вместе. Иосиф Викторович все еще ждал приезда жены, хотя до друзей уже дошли вести о ее втором браке.