Родился 30 сентября 1926 года в деревне Починок Ярославской области. В многодетной семье было 6 детей. Анатолий самый младший ребёнок. Семья переехала в Киров. Школу удалось окончить только 4 класса, затем направили в Рыбинск для обучение в ремесленное училище по специальности слесарь-инструментальщик, специальность требовала внимание и усердие.
11 ноября 1943 года в 17 лет Анатолий Рябинин был призван в ряды Красной Армии. Прошёл военную подготовку, которая длилась полгода, после чего попал на фронт. Свой ратный поход, Анатолий Иванович начал с «пятого Сталинского удара», в дальнейшем операция называлась операция «Багратион». Первый бой с фашистами произошёл в Белоруссии под Оршей. За особые заслуги ему вручили благодарность в виде медали «За отвагу». Далее по ходу войны Анатолий Иванович был неоднократно ранен. В Восточной Пруссии нашего героя ждала вторая медаль «За отвагу» врученная ему за проявленную храбрость и героизм.
Победу встретил в госпитале в Латвии, куда попал после ранение от немецкой снайперской винтовке. По ходу войны был: стрелок, автоматчик, пулеметчик, авиасигнальщик ПВО.
Демобилизовался А.И. Рябинин на Сахалине в 1950 году из танкового полка.