Брайтонский колледж основал Уильям Олдвин Соммс. Случилось это в 1845 году; учебное заведение стало первой государственной школой, основанной в Сассексе в Викторианскую эру. Изначально для Brighton College предполагалось использовать Брайтонский павильон, однако королевский двор отказал в этой привилегии, и пришлось построить новое здание в кемптаунском пригороде.
Brighton College сыграл важную роль в развитии британского школьного образования XIX:
Колледж на протяжении 10 лет, с 1916 по 1926 год, вёл судебную тяжбу за налоговый статус благотворительной организации, каковой на данный момент используют все официально обладающие таковым статусом юридические лица и ассоциации (и в числе прочих негосударственные школы).
Затем, в 2006 году, Brighton Collegeстал первой в Великобритании независимой школой, которая в обязательном порядке включила в программу обучения (с 13 лет) китайский язык: администрация заключила договор о сотрудничестве с правительством Китая, в рамках этого документа взяв на себя обязательство о содействии преподаванию мандаринского диалекта китайского, продвижению китайской культуры и литературы.
Brighton College относительно невелик, но десятки выдающихся директоров, сменяя друг друга, трудились над её расширением и улучшением, привлекая лучших британских архитекторов. Так, главный ансамбль построен в 1846-1866 гг. сэром Джорджем Г. Скоттом, а некоторые здания, относящиеся к позднейшим периодам — Томасом Греймом Джексоном. В сентябре 2009 года было открыто новое отделение для детей 11-13 лет — Lower School, а спустя пару лет в состав Брайтонского колледжа вошла приготовительная школа Handcross Park Preparatory School, расположенная поблизости.
Наиболее существенные улучшения произошли в последние два десятилетия под руководством Ричарда Кернса, добавившего в ансамбль кампуса центр искусства Александера, новое здание приготовительной школы, павильон бриллиантового юбилея королевы, Саймон Смит холл, Новый Дом, башню Кернс (все — обладатели престижной архитектурной международной премии RIBA), музыкальную школу и концертный зал Сары Абрахейм. Последним «прибавлением» стало открытое в 2020 превосходное здание Школы спорта и науки стоимостью более 50 миллионов фунтов стерлингов; с его открытием школа обогатилась 18 лабораториями университетского уровня, двухсветным спортзалом и бассейном, беговой дорожкой на кровле. Проект был выполнен Роттердамским офисом городской архитектуры.
Имена многих «брайтонцев» вписаны в британскую и мировую историю. Свыше тысячи выпускников награждены медалями и орденами как участники Первой и Второй мировой войны; 149 «старых брайтонцев» не вернулись с полей в 1914-1918 гг., ещё 173 — в 1939-1945 годах.