Детство Чарли было нищим, голодным, жестоким и одиноким, как у большинства детей того времени. Именно пережитое в эти годы впоследствии легло в основу его многих замечательных кинофильмов.
Отец Чаплина, тоже Чарльз, сообщал о своих предках, что они бежали из Парижа после Варфоломеевской ночи. Отец был комическим певцом, баритоном-эксцентриком. Мать, урожденная Ханна Хилл, была родом из полуирландской, полуеврейской семьи. В 16 лет она ушла из дому и поступила танцовщицей в оперетту. От первого мужа у нее было трое сыновей, из них один лишь Сидней (на четыре года старше Чарльза Спенсера) был вместе с ней.
Родители развелись, когда Чарльзу исполнился год, а в пять лет он впервые вышел на сцену и запел. Это случилось при трагических обстоятельствах, когда его мать внезапно потеряла голос прямо во время представления. В тот вечер родилась его практичность: он объявил, что сначала подберет монетки, которые ему накидали слушатели, а потом продолжит выступать.
Голос к матери так и не вернулся. Бедность сменилась нищетой, вместе с Сиднеем и маленьким Чарльзом Ханна была вынуждена отправиться в работный дом. Потом детей перевели в Хэнуэллский приют для сирот и бедных детей. Унижения, наказания, розги… Мать заболела душевным расстройством, которое затем сопровождало ее всю оставшуюся жизнь, детей отправили к отцу, их тиранила мачеха Луиза…
Одновременно это были годы учебы в школе: Чарльз любил историю, поэзию и естественные науки и недолюбливал арифметику, ассоциировавшуюся с клерком-бухгалтером.
Под влиянием матери Чарли все больше заинтересовывался театром. Из школы он ушел, не доучившись, в труппу «Восемь ланкаширских парней», которые танцевали в башмаках с деревянными подошвами.
Вскоре Чарльз возвращается в школу, потом вновь ее оставляет, чтобы зарабатывать деньги. Рассыльный в мелочной лавке, регистратор в приемной у двух врачей с одновременной обязанностью выливать принесенную на анализы мочу, слуга в доме у доктора, стеклодув, мальчик для закладки бумаги в печатную машину… У матери вновь обостряется психическое расстройство. А Чарльзу всего 11 лет.