У нас всего семь слуг, а в других семьях десять». Но когда этой теме уделяли внимание, Уильямс не всегда мог заставить себя признать, что его семья богатая. О себе он говорил как о единственном ребенке, хотя у него было два сводных брата, которых он очень любил и к которым относился как к родным. Робин рассказывал, что был одинок, несмотря на то что у него были друзья в каждой школе, которую он посещал, и в каждом городе, где он рос.
Из-за одиночества в детстве и пережитых эмоций в связи с постоянными переездами в юности (за восемь лет он сменил шесть школ) Робин считал, что его воспитание было несложным.
На портретном фото Роба и Лори Уильямс, снятом в самом начале их отношений, видно, насколько эта пара контрастная: «Представьте, что Джордж Бернс и Грейси Аллен выглядят как Алистэр Кук и Одри Хепберн – вот так же и с моими родителями», – говорил Робин. Черты лица его отца красивые, но острые, строгие и угловатые, он гладко выбрит, а темные волосы аккуратно пострижены и причесаны. У матери лицо круглое, теплое, привлекательное, его приятное выражение тонкое, скрытное, ничего не выдающее.
Роберт Фицджеральд Уильямс, известный как Роб, имел привилегированное прошлое и заучил часто повторяемый урок, что все невзгоды преодолеваются трудом и упорством.