Но он был человек слабый, и, к сожалению, поведение его не могло внушить к нему уважения со стороны младших братьев и сестер: наоборот, оно имело на них самое пагубное влияние. Сокрушаясь более всего о потере материальных благ, Иван Алексеевич старался залить свое горе вином, не обращая внимания на слезы и мольбы страстно любившей его жены. Дни и ночи проводил он в обществе березовских приказных и мещан, напиваясь с ними до бесчувствия. Покинутая мужем, подвергавшаяся всевозможным оскорблениям и неприятностям со стороны его братьев и сестер, Наталья Борисовна, сама слабая здоровьем, находила утешение лишь у колыбели сыновей.
А „царская невеста“ — княжна Екатерина Алексеевна, несмотря на свою чрезмерную гордость, коротко сблизилась в Березове с офицером тамошнего гарнизона — поручиком Дмитрием Овцыным. Связь их стала известна, и благосклонности княжны стали искать и другие, в частности, тобольский подьячий Осип Тишин, часто наезжавший в Березов по делам службы.
Как-то раз в пьяном виде он слишком нескромно выразил княжне свои виды и желания, и оскорбленная Екатерина Алексеевна пожаловалась возлюбленному. Д. Овцын подговорил двух своих товарищей, и втроем они жестоко избили О. Тишина. Последний поклялся отомстить обидчикам, а пока продолжал навещать Долгоруких и нарочно заводил с ними беседы об императрице и придворных событиях в надежде, что кто-нибудь из них да проговорится. В 1731 году болтливый князь Иван в пылу разгоревшегося очередного спора, к тому же разгоряченный вином, перестал стесняться в выражениях, назвал Анну Иоанновну шведкой и добавил еще несколько нелестных слов о ней и ее любимце Бироне.
Приставленный наблюдать за ссыльными капитан П. Шарыгин тотчас донес об этом майору Петрову, но майор оказался человеком благородным и порядочным и постарался замять дело. Тогда тобольскому губернатору был подан рапорт, в котором говорилось о тех послаблениях, которые оказывают ссыльным майор Петров и воевода Бобринский.
Губернатор отписал обо всем в Санкт-Петербург, и вскоре оттуда пришел именной указ: „Сказать Долгоруким, чтобы они впредь от таких ссор и непристойных слов воздержались и жили смирно под опасением наижесточайшего содержания“.
Для секретного расследования дела из Тайной канцелярии в Березов срочно отправили капитана Ушакова, родственника А. И. Ушакова, начальника Тайной канцелярии.
