Вместо того чтобы возвратиться в Константинополь и огорчить ненавидимого кузена новым военным провалом, Андроник предпочел скрыться в Антиохии у крестоносцев, среди которых у него было немало знакомых. Там он поселился в богатом доме, начал вести красивую жизнь знатного рыцаря и объявил всем, что без памяти влюблен в прекрасную Филиппу, княжну Антиохийскую, родную сестру Марии, императрицы Византийской.
Чтобы продемонстрировать свою любовь, Андроник приводил к дворцу княжны толпу белокурых мальчиков с серебряными луками в руках, которые должны были изображать игривых амуров, и оркестр, услаждавший слух девицы нежной музыкой.
Когда слухи об этом дошли до Мануила, ярости его не было предела. Мало того, что Андроник позволил себя разбить и бросил армию, он еще намерен жениться на сестре императрицы. Мало ему сомнительной ситуации, когда у кузенов были любовницы-сестры.
Когда посол Мануила явился в Антиохию и высказал недовольство императора, Филиппа отказалась подчиниться приказу из Константинополя, заявив, что любит Андроника. Возмущена была вмешательством б дела Антиохии и местная знать. Андроник был волен теперь жениться на любимой княжне… А оказалось, что она не столь любима, как все думали.
В Иерусалиме король Амори, отношения которого с Мануилом оставляли желать лучшего, отдал Андронику в кормление город Бейрут. Новый вассал иерусалимского короля прожил там недолго, но достаточно, чтобы соблазнить Феодору, племянницу Мануила, которую в 1162 году двенадцатилетней девочкой выдали за иерусалимского короля Балдуина III, предшественника Амори.
Феодора навещала Андроника в Бейруте. Однажды она привезла ему перехваченное ее рыцарями тайное письмо Мануила ко всем губернаторам империи, в котором содержался приказ схватить Андроника и немедленно ослепить его, «дабы наказать за бунт и безнравственное отношение к своей семье».