Андронику определили в управление небольшой город на берегу Мраморного моря — не в столице, но под рукой.
Андроник прожил в этом городе с Феодорой и детьми почти пять лет. Он занимался изящной словесностью, философией, принимал гостей, делал вид, что не замечает многочисленных шпионов, которыми его окружил кузен, и уверял знакомых, что оставил мысли о троне. Но в то же время зорко следил за делами византийскими. А дела шли все хуже.
В 1176 году Мануил с большим войском выступил против Кылыч-Арслана II, который, пока император был занят авантюрами на западе, усилился, захватил соседние змираты и княжества и с каждым годом расширял владения за счет византийских земель.
"Сельджуки избегали крупных боев, заманивая врага в глубь своей территории. На пути византийской армии встречались лишь сожженные деревни, засыпанные колодцы и отравленные водоемы. Армия была обременена громадным обозом в пять тысяч повозок и продвигалась страшно медленно. Кылыч-Арслан дождался своего часа, когда византийское войско втянулось в ущелье, на отвесных склонах которого затаились сельджуки.
Этот разгром свел на нет многолетние труды византийцев в Малой Азии. В столице Мануила обвиняли в неумении командовать, а многотысячная константинопольская чернь, которая становилась активной силой в смутные времена, волновалась в предчувствии грозных событий, питаясь слухами о распрях при дворе и болезнях стареющего Мануила. Ему теперь ставили в вину то, что он покровительствует латинянам, которые дороже ему, чем греки, что в столице хозяйничают итальянские купцы и что по их наущению он бросает войска в прорву итальянских войн.
Потерпев поражение на востоке и потеряв позиции в Италии, Мануил бросился искать новых союзников. Ему казалось, что таким союзником может стать Франция.
В 1178 году в Константинополе остановился проездом из Святой земли граф Фландрский. Мануил обратился к нему с просьбой о посредничестве в брачном союзе между Византией и Францией, предложив женить своего наследника Алексея на французской принцессе.