В I в. н. э. полубезумный император Нерон приказал построить для себя великолепный дворец, который должен был занять склоны сразу трех римских холмов. Дворец, называемый «Золотым домом Нерона» (Domus Aurea), простирался на огромную территорию: современники даже горько шутили, что римлянам придется переселиться в соседний город.
Среди садов Нерон повелел поставить статую высотой 37 м, посвященную себе любимому в образе Колосса Родосского. Неподалеку от статуи по прихоти императора было выкопано искусственное озеро, заполненное соленой водой.
После самоубийства Нерона в 68 г. н. э. к власти пришел новый император Тит Флавий Веспасиан, который основал династию Флавиев, правивших Римской империей 27 лет. Он приказал разрушить дворец ненавистного предшественника, а на месте искусственного озера заложить фундамент эллиптической формы, то есть будущий Колизей. Идея Веспасиана была в том, чтобы преподнести гражданам Рима грандиозный подарок и подчеркнуть, что новая императорская династия будет заботиться о них и их нуждах (в противовес Нерону, который думал только о себе).
Строительство Колизея началось при императоре Веспасиане в 72 г. н. э. и завершилось при его сыне и преемнике Тите в 80 г. н. э. Для строительства использовался распространенный в Риме камень травертин. Блоки крепились между собой железными зажимами без всякого раствора. Чтобы возвести огромное сооружение, использовался труд 60 000 евреев, которые были угнаны в рабство в результате Иудейской войны и разграбления Иерусалима (эта история изображена на арке Тита на Римском форуме).