Предаваясь забавам, Андроник постепенно терял нити управления империей. Многих способных государственных деятелей он уничтожил, других заставил бежать и окружил себя ничтожествами. Он мог бы продержаться дольше, будь он моложе, но в шестьдесят пять лет ему было все труднее казнить, развлекаться и управлять одновременно.
Это стали понимать и его враги. Бежавший из столицы Исаак Комнин провозгласил независимость Кипра, в провинциях зрели заговоры и вспыхивали восстания. Наконец, в дело вмешались внешние враги.
Еще одним ударом по репутации Андроника было восстание в Болгарии. В 1185 году братья Петр и Асень подняли Болгарию против византийского господства, и началась борьба второго болгарского царства за независимость. Вернуть Болгарию не удалось и преемникам Андроника.
Плохи были дела и на границе с Венгрией. Король Бела поддерживал связи со своей бывшей невестой, кесариссой Марией, а после ее смерти торжественно объявил, что будет мстить за нее.
Отложилась Сербия. В результате похода византийцев в 1183 году были снесены с лица земли Белград, Равно, Средец. Поднялось восстание сербов, и жупан Стефан Неманя, разбив византийскую армию, завоевал Южную Далмацию и совершил несколько походов в глубь византийских земель.
Таким образом, за несколько лет правления Андроника почти все плоды многолетних трудов и походов Мануила были потеряны. И разумеется, это не прибавило популярности новому императору. Среди его многочисленных талантов не было таланта полководца.