Родился в д. Раменье ныне Борисоглебского района Ярославской области в семье крестьянина. Работал нормировщиком на заводе.
В Красной армии с 1939 г. На фронте с июля 1941 г. Командир роты 461-го стрелкового полка Скворцов в числе первых 9 июля 1944 г. преодолел реку Вуокса на Карельском перешейке, личным примером увлек за собой роту. Это дало возможность другим подразделениям форсировать реку.
Указом Президиума Верховного Совета СССР от 24 марта 1945 г. «за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство» старшему лейтенанту Скворцову Д. Д. присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 5507). Участник парада Победы в Москве 24 июня 1945 г. С 1948 г. Скворцов – в запасе в звании капитана.
На Колыму прибыл в начале 1950-х гг. Более 20 лет работал горным мастером на прииске «Широкий» в Сусуманском районе, участвовал в становлении профессиональных горняцких кадров. Затем переехал в г. Выборг Ленинградской области.
Награжден орденами Ленина, Октябрьской Революции, Отечественной войны I и II степени, медалями.
Герои Отечества. Колыма и Чукотка [Текст] : Герои Советского Союза, Герои России и полные кавалеры ордена Славы, Герои Социалистического Труда и полные кавалеры ордена Трудовой Славы : биобиблиографический справочник / Министерство культуры и туризма Магаданской области, ОГБУК "Магаданская областная универсальная научная библиотека им. А. С. Пушкина" ; [составитель И. М. Морякова]. - Магадан : Охотник, 2015. - С.45: ил., портр.