Ballagi Mór 1815. március 18-án született Bloch Mór néven, a mai Szlovákia keleti részén fekvő Éralja nevű kis községben. Szülőfalujában a XIX. század elején a ruszinok voltak többségben, a Bloch család a kisebbségben lévő zsidósághoz tartozott.

Az ifjú Mór gyermekévei nagy szegénységben teltek, de a tudás iránti éhsége hamar megmutatkozott. Előbb 1829-től a nagyváradi, majd 1831-től a pápai talmud iskolába járt. Tanulmányait megszakítva nevelői állást vállalt Móron és a felvidéki Surányban. Az utóbbi városban jó kapcsolatot alakított ki a helyi római katolikus plébánossal, aki latin és görög nyelvű könyveket adott kölcsön neki és az ókori eredetű nyelvek elsajátításában segítette.

1836-tól egy éven át a Pápai Református Gimnázium végzős osztályának tanulója volt. Ezt követően a budai Politechnikumban műszaki tudományú előadásokat hallgatott. Mivel izraelita vallású diákként diplomát e szakterületen nem szerezhetett, ezért tanulmányait 1839-től Párizsban folytatta. A francia fővárosban készítette el nagy hatású röpiratát Zsidókról címmel, amelyben a magyarországi zsidóság asszimilációját szorgalmazta.

Már az 1830-as évek második felétől, egyre értékesebb nyelvészeti munkásságot végzett, amelyre a magyar tudóstársadalom tagjai is felfigyeltek és 1840-ben a Magyar Tudományos Akadémia levelező tagjává választották. Székfoglaló beszédét Nyelvészeti nyomozások címmel 1840. december 28-án Budán mondta el. Ő lett a Magyar Tudományos Akadémia első zsidó származású tagja.

Magyarra fordította és jegyzetekkel látta el a Pentateuchust (Mózes öt könyvét), amelyet öt kötetben jelentetett meg Budán 1840 és 1841 között. A kétnyelvű kiadásban a fordítás mellett közölte az eredeti héber szöveget is. Első jósok címmel 1842-ben Józsue könyvét fordította magyarra.

A Pesti Izraelita Hitközség vezetőivel támadt konfliktusa után 1843-ban elhagyta ősei vallását, megkeresztelkedett és az evangélikus felekezet tagjává lett.

Filozófiai és teológiai ismereteinek bővítése céljából 1842-ben a tübingeni egyetemre ment, ahol 1843-ban bölcsészdoktori címet szerzett. Rövidesen visszatért Magyarországra és 1844-től a Szarvasi Evangélikus Gimnázium tanára lett. Vezetéknevét az 1840-es évek második felében Ballagira változtatta.

Aktívan részt vett az 1848-1849-es forradalomban és szabadságharcban, amelynek bukása után a császári hatalom eltiltotta a középiskolai tanítástól. Kondoroson földet bérelt, így a mezőgazdaságból származó jövedelem teremtette meg élete további szakaszában anyagi biztonságát. 1851-ben visszakapta a jogát az iskolai tanításhoz. 1851-től Kecskeméti Református Teológiai Akadémia, majd 1855-től a Pesti Egyesült Protestáns Teológiai Akadémia (mai Károli Gáspár Református Egyetem Hittudományi Karának elődje) tanárra lett.

A Teológián a bibliamagyarázat és a keresztyén hittan tudományát tanította, 1877 június végéig, amikor egészségi okok miatt állásától megválni kényszerült. Tanári működése alatt vállt a magyar protestáns teológiai liberalizmus legmeghatározóbb képviselőjévé. Ballagi Mór 1851-től református intézmények alkalmazásában állt, így ebben a felekezetben vállalt különböző tisztségeket. A Dunamelléki Református Egyházkerület világi tanácsbírája, a Magyarországi Református Egyház Konventjének rendes, Zsinatának pedig póttagja volt.

A Magyar Tudományos Akadémia 1858-ban emelte rendes tagjai sorába. Székfoglaló előadását A magyar nyelvészkedés köre. Bevezetés a sémi gyöknyomozáshoz címmel tartotta meg. Az országos politikai életben rövid ideig vállalt szerepet, 1861-ben az ómoravicai választókerület országgyűlési képviselőjének választották.

Egykori tanítványa, Szőts Farkas 1907-ben így emlékezett kedves tanárára: „Most 35 év múlva is jól emlékszem, a mint betegségtől kínzott vézna testtel a kathedrára fölvánszorgott; szinte szánalom volt rá nézni — az első perczben. De a mint belemelegedett az előadásába, szemében kilobbant a lelkesedés tüze, görnyedt alakja kiegyenesedett, rekedtes hangja csodálatos csengést nyert, s szent lelkesedését észrevétlenül úgy átöntötte hallgatóiba, hogy mi is az ő szent hevétől égtünk, mi is az ő eszmevilágába emelkedtünk. Valósággal szuggerálta a tanítványait... És e mellett mennyire szerette őket. Minden tehetségesebb tanítványában egy-egy hithőst vagy tudományos apostolt látott, s emberszerető paedagogiája oly optimizmussal ítélt róluk, hogy a mint már Baksay megjegyezte, Ballagi szemében a tanítványok egyik fele mindig zseni volt, a másik fele legalább is kiváló tehetség."

Ballagi Mór nyelvészként jelentéstannal, összehasonlító nyelvészettel és nyelvtörténettel foglakozott. Gyűjtötte a magyar példabeszédeket és közmondásokat, összeállította a magyar nyelv „teljes szótárát", több német-magyar illetve magyar-német szakszótárt szerkesztett, ezenkívül héber nyelvtankönyvet is írt.

Hosszas betegség után 1891. szeptember 1-én hunyt el. Temetésén Szász Károly püspök a következő dicsérő szavakat mondta: „Az egyszerű zsidó fiú; — úgy mond, — a kinek földi maradványait most bánatos szívvel álljuk körül, törhetetlen erős akarattal, kitartó szorgalommal küzdötte föl magát a nyomorból, és megjelent tudományosságunk egén, mint egy fényes meteor, a mely évtizedeken keresztül világított és terjesztette a tudást a nép minden rétegében."

Millisits Máté