Представитель старинного дворянского рода Давыдовых. Родился в семье бригадира Василия Денисовича Давыдова (1747—1808), служившего под командованием А. В. Суворова, в Москве[3]. Значительная часть детских лет его прошла в военной обстановке на Слобожанщине, где служил его отец, командовавший Полтавским легкоконным полком, и была родина его матери, дочери Xарьковского генерал-губернатора Евдокима Щербинина.