Иногда на долю маленького двенадцатилетнего Роба выпадало ехать триста миль к северу от Чикаго с чернокожим слугой и привозить домой пьяного отца. Позже Роб поступил в Кеньон-колледж в Огайо, но, когда крах фондового рынка в 1926 году практически полностью уничтожил семейный бизнес Уильямсов, ему пришлось бросить школу, вернуться домой в Эвансвилль и устроиться работать младшим инженером на шахту. Через несколько лет, когда Роберт Росс неизлечимо заболел, Роб без колебаний предложил свою кровь для переливания, но в итоге отец вытащил из руки иглу и сказал сыну: «Я больше не хочу, чтобы ты это делал – ты и так достаточно помог».
У Роба с его первой женой Сьюзан Тодд Лорент в 1938 году родился сын, которого называли Роберт Тодд Уильямс, больше известный под именем Тодд. Но в 1941 году Роб и Сьюзан развелись, и Сьюзан увезла Тодда с собой в Кентукки. Роб работал управляющим на Ford, когда Соединенные Штаты вступили во Вторую мировую войну. Он тут же записался в военно-морской флот и стал капитан-лейтенантом на авианосце «Ticonderoga» в Тихом океане.
"Из-за ранений Роб не мог продолжать участвовать в военных действиях, поэтому ему пришлось приступить к офисной работе в Вашингтоне. Вскоре он вернулся обратно в Ford, занял там должность менеджера и в конечном итоге дорос до чикагского подразделения национальных продаж в Lincoln Mercury. В 1949 году во время двойного свидания вслепую в шикарном ресторане Роб познакомился с молодой энергичной разведенной Лори МакЛорин Жанин. Лори пришла с секретаршей Роба, а Роб привел мужчину, предполагалось, что в качестве пары для Лори.
Роб привлекал Лори физически, ее влекла его уверенность, очаровывали напор и сдержанная харизма.