Но, по-видимому, отцовские гены оказались все же сильнее, и хотя Достоевский навсегда сохранил к матери чувство благодарности за ее искренность, характер его впоследствии так и не изменился. Образ матери, мягкой и доброй женщины, остался в памяти Федора на всю жизнь. Судьба ее, однако, оказалась не очень счастливой. У нее рано открылся туберкулез, и умерла она сравнительно молодой в 1837 г., когда юному Достоевскому не исполнилось еще и шестнадцати лет.
Оставшись вдовцом, отец отправил Федора и его младшего брата Михаила в Петербург, на учебу в Инженерном военном училище.
После отъезда старших сыновей лейб-лекарь Достоевский вышел в отставку и поселился в своем имении Даровое вместе со своей бывшей московской служанкой Катериной Александровой, сделав ее своей любовницей. Михаил Андреевич постоянно пьянствовал, жестоко обращался с крестьянами и дворовыми, а его гнев порой доходил до нервных припадков. Крестьяне ненавидели своего барина и однажды устроили против него настоящий заговор, в котором приняли участие родственники его любовницы Катерины.
Обстоятельства смерти отца, причиной которой были и разврат, и пьянство, и насилие, потрясли восемнадцатилетнего юношу. Эти переживания так отложились в его памяти, что через сорок лет писатель использовал их в «Братьях Карамазовых», хотя трудно сказать, в какой мере портрет старика Карамазова соответствовал истинному облику отставного лейб-лекаря Михаила Достоевского.