Регалии: 2-кратный бронзовый призер Олимпийских игр (1976, 1980) в весовых категориях до 54 и 57 кг; 3-кратный чемпион Европы (1975, 1979, 1981); 2-кратный серебряный призер Кубка мира (1979, 1981); 7-кратный чемпион СССР (1975, 1976, 1977, 1978, 1979, 1980, 1982).
Родился 26 мая 1954 года в Магадане (СССР).
На Олимпиаде 1976 года Рыбаков в полуфинале дважды отправил своего соперника Чарльза Муни в нокдаун, но судьи все равно отдали победу американцу (4:1). Советская делегация подала протест, арбитров впоследствии пожизненно дисквалифицировали, но результат боя остался в силе. Советскому боксеру досталась только бронза.
Перед домашней Олимпиадой-1980 Виктор, выступавший в то время в категории до 57 кг, просил тренеров выставить его в более тяжелом весе - ему все труднее было сгонять вес перед каждым соревнованием. Однако тренерский совет дал отрицательный ответ. Сгонка сказалась на форме Рыбакова - он уступил в полуфинале Руди Финку из ГДР.
Рыбаков трижды становился чемпионом Европы, и каждый раз в разных весовых категориях (до 54, до 57 и до 60 кг), ему четырежды вручали Кубок Никифорова-Денисова (приз самому техничному боксеру европейского первенства), даже в 1977 году, когда Рыбаков стал не победителем, а бронзовым призером.
Виктор ушел из бокса в 26 лет, поругавшись с тренером сборной Артемом Лавровым, который не хотел брать «ветерана» на чемпионат мира. За 16 лет на ринге Рыбаков провел 219 боев и одержал 203 победы.
Работал старшим тренером боксеров Группы советских войск в Германии. Возглавляемая им команда в первый же год заняла второе место на первенстве Вооруженных сил.
Однако в 1985 году случилось так, что Рыбакова приговорили к шести годам лишения свободы и лишили звания «Заслуженный мастер спорта СССР». Ему вменили в вину то, что он якобы купил в Германии несколько фарфоровых изделий, чтобы потом перепродать в Советском Союзе.
Виктор Рыбаков досрочно освободился в 1988 году. Попробовал себя в профессиональном боксе, потом в бизнесе. Снова вернулся в бокс, заняв пост вице-президента российской любительской федерации бокса (в 2017 году эта должность была упразднена).