Первые лошади появились в Австралии в 1788 году. Их привезли первые европейские поселенцы. Условия транспортировки были очень плохими, многие лошади умерли в пути, однако наиболее выносливые и стойкие животные выжили.

Согласно одной из наиболее популярных версий свое название "Брамби", лошади получили по имени Джеймса Брамби (James Brumby). Он родился в Британии, служил в войсках Нового Южного Уэльса и предполагается, что он был ответственным за некоторых лошадей в первых австралийских колониях. Когда Джеймса Брамби перевили в Тасманию, в 1804 считается, что он оставил часть лошадей в Новом Южном Уэльсе. Когда местные жители спросили, чьи это лошади, им ответили, что это лошади Брамби.

Первоначально лошади использовались для работ на фермах, они внесли существенный вклад в освоение земель Австралии. Исследователи использовали лошадей и волов в качестве транспорта. Позже лошадей стали разводить на продажу.

Заборы, огораживающие фермы были ненадежны, и их количество было явно недостаточным, из-за этого много лошадей убегало. Часть лошадей была брошена людьми, поскольку многие их функции стали выполняться машинами. Таким образом, со временем появились табуны одичавших лошадей.

Брамби неоднородны по составу, у них разный рост, конституция, масти. Это объясняется, во-первых, тем что фермерские лошади изначально были смешанных кровей, к тому же домашние кобылы нередко убегают и присоединяются к стадам диких лошадей.

Многие фермеры считают Брамби вредителями. Они портят ограды, пасутся на фермерских пастбищах и отгоняют рогатый скот от водопоя, после чего очень трудно согнать скот в стадо. Так же они являются разносчиками разных паразитов.

Брамби ценились в Австралии как источник мяса и волос (для музыкальных инструментов, щеток, обивки мебели), а так же их использовали как домашних лошадей, но спрос на них был незначителен.

На протяжении многих лет отловленные и объезженные брамби приносили пользу людям, но в настоящее время они рассматриваются больше как вредители, отнимающие пищу у домашнего скота. С 60-х годов брамби активно отстреливают и сейчас их осталось совсем мало.