Земли в округе Кардифф была дарованы Вильгельмом роду де Клэр сразу же после того, как была завоёвана Англия. Однако де Клэр, которые являлись одними из Лордов Границы, не видели особого смысла в том, что бы укреплять расположенные достаточно далеко от непокоренного Уэльса земли. И лишь после того, как принц Ллевелин объединил Уэльс, они вдруг задумались о возможной угрозе и о необходимости постройки замка. Только лишь было принято такое решение, как Гилберт де Клэр, граф Глочестер и Хертфорд в 1268 году развернул крупномасштабное строительство концентрического замка в Каэрфили. Всего лишь за два года был выстроен огромный концентрический замок, занимающий площадь в тридцать гектаров, второй по величине после замка Винздор. Однако если принять во внимание, что большая часть Винздора представляет собой скорее дворец, и построена несколько позже, то первенство смело можно отдать замку Каэрфили.
С целью защиты замка были применены новейшие по тем временам достижения фортификации. Вокруг замка была насыпана высокая укреплённая дамба, создававшая искусственный водоём и к тому же защищавшая внешние стены. Водой замок окружён с трёх сторон, а с четвёртой его защищают особо укреплённые стены. С запада подступы к замку перекрывает остров.
В 1270 и 1271 годах замок атаковали войска Ллевелина, замок выстоял и после больше не учавствовал в уэльских войнах Эдуарда Первого. К фавориту короля Эдуарда Второго, Хью Деспенсеру замок перешёл уже после смерти сына Гилберта де Клэра. Во время войны, которую начала королева Изабелла и её любовник Роджер Мортимер против Эдуарда,тот, после нескольких проигранных сражений совершил попытку укрыться в замке Каэрфили. Во время осады замка, король сбежал, бросив в замке всю свою казну и вещи. Осада продолжалась, и спустя несколько месяцев Изабелла одержала долгожданную победу - замок сдался. Изабелла присвоила всю казну сбежавшего короля Эдуарда, а Хью Деспенсеру приказала отрубить голову.
Одним из серьёзнейших событий в истории замка был его молниеносный захват Оуэйном Глиндуром во время последнего из восстаний за независимость Уэльса.
Последующие годы замок оставался попросту административным центром округа, не принимая участия ни в каких исторических событиях.
Когда закончилась гражданская война, Кромвель приказал разрушить замок, однако постройка оказалась такой мощной, что окончательно этого сделать не удалось. Понадобилось бы огромное количество пороха, и поэтому были разрушены только несколько башен, всё остальное уцелело. Больший же вред, чем подрыв, замку нанесло растаскивание камня на местные постройки.
