Fjelljoen har en sirkumpolar utbredelse i arktiske og subarktiske områder, og forekommer blant annet i de nordlige delene av Skandinavia. Den er en trekkfugl som passerer kysten av Norge og øvrige deler av Vest-Europa på vei til vinterkvarterene i de sørlige delene av Atlanterhavet.

På Svalbard observeres fjelljoen årlig, men fåtallig, på tundraen langs kysten. Den er en fåtallig hekkefugl, og bestanden er trolig i størrelsesorden 5–20 par. Fuglene observeres også regelmessig i havområdene rundt øygruppen, trolig under trekket fra hekkeområdene på Øst-Grønland og i russisk Arktis. At fjelljoen ikke er vanlig på Svalbard har trolig sammenheng med mangelen på smågnagere (bortsett fra østmarkmus). På Øst-Grønland hvor klimaet er sammenlignbart med Svalbard forekommer arten tallrikt, men her finnes lemen.