Berggrunnen langs Rallarvegen kan delast inn i tre: Grunnfjell, fyllitt, og skyvedekke.
I områda aust for Hallingskeid ligg dei som tre lag i ei kake. Rallarvegen går der nesten heile vegen på det undre laget som er ein grovkorna lys granitt («Finsegranitt») med store rektangulære krystallar av rosa feltspat saman med lysegrå kvarts, mørk glimmer (biotitt) og litt grøn epidot. Djupt nede i jorda størkna denne bergarten for om lag 1 milliard år sidan. Berget vart så gjennom nesten 500 millionar år tært ned til eit sletteland («peneplan») som så vart fløymd over av havet. Leire og kalk vart avsett på botnen før kontinenta på kvar side av det tidlege Atlanterhavet kolliderte for vel 400 millionar år sia og danna ei tidleg fjellkjede.
Nede i djupet vart lausrivne flak av gamalt grunnfjell (kanskje så mykje som 1,5 milliardar år gamalt) skuva opp frå vest: Leir- og kalksedimenta vart skvisa mellom grunnfjellsgranitten og den overskuva gneisen, og utsett for høg temperatur og trykk (metamorfose). Då vart sedimenta omforma til fyllitt som i dag utgjer det mellomste laget, eller «fyllet» i lagkaka. På Finse kan vi sjå fyllitten i Finsenutane i vest og nordvest. Rett under fyllitten ser vi ei hylle som er restar av det vel 500 millionar år gamle slettelandet. I det øvre laget (gneisen) gjorde trykket nede i djupet at minerala orienterte seg i mørke og lyse band til «bandgneis». Gneisen utgjer no det øvre laget av kaka. Frå Finse ser vi gneisen i dei bratte berghamrane innunder Jøkulen. Lenger aust utgjer berget i Hallingskarven den same overskuva gneisen.
Vest for Hallingskeid skrånar grensa mellom dei tre laga mot vest slik at Rallarvegen frå Grøndalstølen og heilt til Seltuft går gjennom fyllitt. Lenger vest (frå Seltuft til Berekvam i Flåmsdalen) ligg Rallarvegen heile tida i det øvre laget (i gneisen). Nedre del av Flåmsdalen har igjen fyllitt langs vegen.
Granitt er den beste bergarten å nytta i murar og bruer i motsetning til fyllitt som ikkje er brukande til slikt. Då ein bygde Bergensbana rundt 1900 hadde ein difor store steinbrot i granitten (i Tjuadalen). Der hogg rallaren ut steinblokker som vart køyrde på isen på Klevavatnet og nytta i den flotte Klevabrui tre km lenger vest.
Leirmineral og kalk i fyllitten er i motsetning til kvarts og feltspat i granitten sers næringsrik. På fyllitt finn vi difor ein rik flora medan det er meir karrig på granitten. Om gneisen har mørke mineral veks plantane betre der enn på granitt.