И Фиораванти часто замечал, что в работе ему разные препоны и мелкие гадости делали не из личной неприязни, а просто потому, что он был иноверец.
Однажды при великокняжеском дворце произошел кровавый инцидент: иностранного врача, не сумевшего вылечить проживавшего в Москве татарского хана Каракучу, обвинили в злонамеренном отравлении, жестоко пытали, а потом по повелению Ивана III зарезали на Москве-реке. На итальянца это произвело такое гнетущее впечатление, что он решил уехать тайком, но попытка эта кончилась для него бедой.
"Казнь немца-лекаря и опала А. Фиораванти относятся к зиме 1484 года. Итальянский мастер стал узником и сидел на Антоновом дворе (дворе Антона Фрязина). Имущество его отобрали в казну, возможно, именно тогда погибли и строительные чертежи зодчего, а также его математические расчеты, рукописи, письма из Италии и личные записки.
В 1485 году, в возрасте 70 лет, Фиораванти ушел с московским князем в поход на Тверь. Как в свое время под Новгородом, так и сейчас гремели отлитые им пушки, только сейчас их было. Намного больше: мастер из Болоньи командовал под Тверью всей артиллерией царя Ивана. После 1485 года сведения об итальянском зодчем исчезают: он мог погибнуть в Тверском походе, мог по возвращении жить, помогая молодым мастерам… Однако есть версия, что Фиораванти был заперт в одном из кремлевских тайников, где смог убедиться в достоинствах сооруженной им темницы.
Первые месяцы заточения Фиораванти бушевал в бессильной злобе, проклинал неблагодарного царя и угрожал тюремной страже чуть ли не войной, которую император Священной Римской Империи объявит Москве за обиду, нанесенную итальянцу.