Матвей Казаков родился в 1738 году в небогатой семье в Москве. Начальное образование мальчик получил в местной Космодемьянской церкви. С раннего детства он интересовался архитектурой: часами сидел на строительных лесах и делал зарисовки зданий. После смерти отца мать подала в Сенат прошение принять сына в московскую архитектурную школу. Так в 1751 году 13-летний Матвей Казаков поступил в архитектурную школу князя Дмитрия Ухтомского. Основы архитектуры ученики постигали по трактатам известных итальянских архитекторов Марка Витрувия, Андреа Палладио, Жакома да Виньолы и сочинениям французского теоретика XVIII века Франсуа Блонделя. Вместе с тем воспитанникам прививали и любовь к древнерусскому зодчеству. Так формировалась характерная черта творческого стиля Казакова — сочетание классической и древнерусской архитектуры. В 1768 году Матвей Казаков устроился в «Экспедицию по строению Кремлевского дворца», которая выполняла в Москве государственные заказы. Вместе с главным архитектором экспедиции, Василием Баженовым, Казаков возводил Большой Кремлевский дворец. Позже они разработали проект праздничного оформления Ходынского поля в честь победы в русско-турецкой войне. Работа с маститым архитектором стала для Казакова высшей школой: выпускник Петербургской академии художеств и ученик европейских архитекторов многому научил своего помощника. В 1775 году Казаков получил звание самостоятельного архитектора, однако продолжал сотрудничать с Баженовым.
Матвей Казаков умер 7 ноября 1812 года. Похоронили архитектора в Троицком монастыре на окраине Рязани.