Родился 2 мая 1942 года в Генте (Бельгия).
Занимался парусным спортом, принимал участие в трех Олимпиадах (1968, 1972, 1976), выступал также за сборную Бельгии по регби. В 1989 году возглавил Национальный олимпийский комитет Бельгии и Европейский олимпийский комитет. С 1998 года - член исполкома МОК.
В 2001 году на сессии исполкома в Москве избран президентом Международного олимпийского комитета, сменив на этом посту Хосе Антонио Самаранча.
Постарался сделать олимпийское движение более демократичным. Во время Олимпиады-2002 в Солт-Лейк-Сити поселился вместе со спортсменами в олимпийской деревне, а не в 5-звездочном отеле, как делали его предшественники. Требовал, чтобы столицами Игр становились города и страны, которые ранее никогда не проводили олимпиад. Так, в 2008 году Олимпийские игры прошли в Пекине. Заявка Сочи на Зимние игры 2014 года победила тоже при Рогге.
Вместе с тем противники бельгийца упрекали Президента МОК в том, что все три проведенные при нем Олимпиады (летние) сопровождались громкими допинговыми, а также коррупционными скандалами, которые закончились уголовными делами.
10 сентября 2013 года уступил президентское кресло в Международном олимпийском комитете немцу Томасу Баху.
Удостоен наград многих стран. На родине произведен в рыцари Его Величеством королем Бельгии Альбертом II, а также получил титул графа.
Скончался 29 августа 2021 года.