Регалии: Олимпийский чемпион (1952) в тяжелом весе; чемпион мира среди профессионалов в супертяжелой весовой категории (1956-1962).
Родился 4 января 1935 года в Вако, штат Северная Каролина (США).
Несмотря на небольшие для тяжеловесов габариты (86 кг), обладал прекрасной техникой и нокаутирующим левым хуком. В 15-летнем возрасте выиграл турнир "Золотые перчатки", считавшийся неофициальным чемпионатом США.
На Олимпиаде-1952 в Хельсинки завоевал золото в весовой категории до 75 кг, победив в финале румынского боксера Василие Тицэ. После этого триумфа перешел в профессионалы.
Стал чемпионом мира, победив в ноябре 1956 года Арчи Мура. В 1959 году проиграл Ингемару Йоханссону, но уже в июне 1960 года вернул себе титул, отправив Йоханссона в глубокий нокаут в пятом раунде.
Когда поверженный соперник лежал на настиле и его ноги судорожно подергивались, Флойд вместо того чтобы праздновать победу бросился приводить Ингемара в чувство. За такие поступки Паттерсон получил прозвище «Джентльмен бокса».
Флойд вырос он в очень бедной семье в одном из самых бедных районов Нью-Йорка (Бедфорд-Стайвесант) и был скромным и даже ранимым человеком. Неспособность к агрессии постоянно служила ему недобрую службу на ринге. Именно поэтому в 1962 году он уступил чемпионский титул Сонни Листону, проиграв, как тогда писали, еще до боя.
С Мохаммедом Али Паттерсон встречался на ринге дважды, и оба раза уступил. После второго поражения в 1972 году решил завершить карьеру.
В последние годы жизни Флойд страдал от болезни Альцгеймера.
Скончался 11 мая 2006 года в Нью-Пальце, штат Нью-Йорк (США). Похоронен на кладбище New Paltz Cemetery в округе Ульсер штата Нью-Йорк.