Регалии: Заслуженный мастер спорта СССР; олимпийский чемпион (1964) в командном первенстве саблистов; бронзовый призер Олимпийских игр (1956) в командном первенстве саблистов; 4-кратный чемпион мира в личном (1958, 1961, 1963) и командном (1965) первенстве саблистов; 5-кратный серебряный (1957, 1958, 1961, 1963, 1966) и 3-кратный бронзовый (1955, 1959, 1962) призер чемпионатов мира; 4-кратный чемпион СССР в личном первенстве.
Родился 25 октября 1928 года в Александровке Семипалатинского округа (Казахстан).
Яков Рыльский специализировался в фехтовании на саблях, в 1953 году был включен в состав сборной СССР и через три года отправился на Игры-1956 в Мельбурн. Здесь Яков в личном первенстве добрался до четвертьфинала, а в составе команды стал бронзовым призером. Советская сборная уступила полякам и венграм с одинаковым счетом 7:9, но сумела выиграть у французов и заняла итоговое третье место.
В 1958-м Рыльский стал победителем личного первенства саблистов на чемпионате мира в Филадельфии, но на Играх-1960 в Риме он и его товарищи по команде выступили неудачно.
На последней для себя Олимпиаде-1964 в Токио Яков Рыльский стал четвертым в индивидуальном первенстве, но завоевал золотую медаль в составе команды.
Завершив выступления, несколько лет работал тренером в обществе «Динамо», а также занимался спортивными сооружениями в ЦСКА.
Скончался 9 декабря 1999 года в Москве.