От него остались двое детей: сын Балдуин, который занял престол под именем Балдуина IV, и дочь Сибилла, ставшая желанной добычей для женихов. Матери своей они почти не знали, и не потому, что она умерла — Агнесса Эдесская была жива и здорова. Она вышла замуж за Амори, когда тот еще не был королем. Супруги мирно прожили несколько лет, родилось двое детей, и тут со смертью брата Амори должен был унаследовать престол. Но соперники Амори вспомпили, что Агнесса приходится ему четвероюродной сестрой. По наущению врагов Амори патриарх Иерусалимский объявил их брак недействительным.
Сибилла росла девочкой своенравной, вспыльчивой и злой. Брат ее, будущий король, был увальнем, добродушным, ленивым и неумным. Сибилла осталась во дворце отца, а мальчика передали на воспитание графу Раймунду Триполийскому.
Раймунд был известен своей осторожностью и даже, как утверждали его враги, трусостью. В запутанном и нездоровом мире ближневосточной политики он был опытен, изощрен и непотопляем.
Однажды, когда Балдуину было девять лет, Раймунд обратил внимание на то, что, играя с другими детьми, Балдуин почему-то не реагирует на щипки и удары, вроде бы болезненные. Раймунд подозвал его, взял иглу и уколол Балдуина в руку. Тот даже глазом не моргнул. Раймунд сразу понял, что произошло: мальчика настигла проказа.
Проказа была бичом Ближнего Востока. Уже не один рыцарь становился ее жертвой.