Родился 30 сентября 1926 года в деревне Починок Ярославской области. В многодетной семье было 6 детей. Анатолий – самый младший ребёнок. Семья переехала в Киров. Школу удалось окончить только 4 класса, затем направили в Рыбинск для обучения в ремесленное училище по специальности слесарь-инструментальщик, специальность требовала внимание и усердие.
11 ноября 1943 года в 17 лет Анатолий Рябинин был призван в ряды Красной армии. Прошёл военную подготовку, которая длилась полгода, после чего попал на фронт. Свой ратный поход Анатолий Иванович начал с «пятого Сталинского удара», в дальнейшем операция называлась операция «Багратион». Первый бой с фашистами произошёл в Белоруссии под Оршей. За особые заслуги ему вручили благодарность в виде медали «За отвагу». Далее по ходу войны Анатолий Иванович был неоднократно ранен. В Восточной Пруссии нашего героя ждала вторая медаль «За отвагу», врученная ему за проявленную храбрость и героизм.
Победу встретил в госпитале в Латвии, куда попал после ранения от немецкой снайперской винтовке. Во время войны был: стрелок, автоматчик, пулеметчик, авиасигнальщик ПВО.
Демобилизовался А. И. Рябинин на Сахалине в 1950 году из танкового полка.