За несколько месяцев до своей смерти в одном из писем он писал: «…я в ранней юности сильно полюбил внучатую племянницу мистера Чаворта. Она была старше меня двумя годами, и мы в юности много времени проводили вместе. Она вышла замуж за человека из старинной и почтенной семьи, но брак ее оказался несчастливым, как и мой». Байрон посвятил Мэри Чаворт целый ряд стихотворений, но особенно волнующе он передал свое страдание и любовь к ней в поэме «Сон», написанной в 1816 г.
В 1805 г. Байрон поступил в кембриджский Тринити-Колледж, высшее учебное заведение тогдашней Англии.
У него появились новые товарищи, некоторые из них стали его верными друзьями на всю жизнь. Байрон отдавал дань молодости, веселью, наслаждениям, карточным играм и «искусству непомерного поглощения алкоголя». Но это лишь внешняя сторона его жизни в Кембридже. Джордж продолжал свои систематические занятия спортом, начатые им в Харроу: успешно занимался плаванием, боксом, фехтованием, верховой ездой. По-прежнему много читал. Знания Байрона, почерпнутые в эти годы из множества книг, размышления над прочитанным были основой для быстрого и самостоятельного развития его личности.
Здесь, по его словам, зародилась «неистовая, но чистая любовь и страсть» к Джону Эдльстону, юному хористу, пение которого Байрон впервые услышал в храме Святой Троицы. «Сначала его голос, — писал Байрон, — привлек мое внимание, затем я был заворожен выражением его лица, а его обходительность навсегда привязала меня к нему… Определенно я люблю этого человека больше всех на свете, и ни время, ни расстояние не повлияют на мои (как правило) меняющиеся настроения».
Некоторые ранние стихотворения Байрона посвящены Джону, например, «К Э…..», «Стансы к Джесси» и «Сердолик». Этот камень — подарок Эдльстона — поэт хранил до конца своих дней, и об этом можно прочесть в стихотворениях первого сборника Байрона «Часы досуга».
1808 г. Джордж провел в Лондоне, развлекаясь и отдаваясь «бездне чувственности», как говорил об этом сам поэт.
У него был огромный любовный аппетит, и сохранились документы, в которых Байрон характеризуется как поклонник различных сексуальных приспособлений. В Лондоне у него было две постоянные любовницы, и, кроме этого, через его квартиру прошло великое множество безвестных проституток. Молодой повеса очень любил, когда одна из его любовниц наряжалась в мужскую одежду. Маскарад окончился, когда «у юного джентльмена прямо в гостиничном номере случился выкидыш».