Родился в д. Раменье ныне Борисоглебского района Ярославской области в семье крестьянина. Работал нормировщиком на заводе.
В Красной армии с 1939 г. На фронте в Великую Отечественную войну с июля 1941 г. Командир роты 461-го стрелкового полка Скворцов в числе первых 9 июля 1944 г. преодолел реку Вуокса на Карельском перешейке, личным примером увлек за собой роту. Это дало возможность другим подразделениям форсировать реку.
Указом Президиума Верховного Совета СССР от 24 марта 1945 г. «за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство» старшему лейтенанту Скворцову Д. Д. присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 5507). Участник Парада Победы в Москве 24 июня 1945 г. С 1948 г. Скворцов – в запасе в звании капитана.
На Колыму прибыл в начале 1950-х гг. Более 20 лет работал горным мастером на прииске «Широкий» в Сусуманском районе, участвовал в становлении профессиональных горняцких кадров. Затем переехал в г. Выборг Ленинградской области. Награжден орденами Ленина, Октябрьской Революции, Отечественной войны I и II степени, медалями.