De mange gravhøje langs vejen vidner om, at Hærvejen har været vigtig i forhistorisk tid sandsynligvis allerede i den yngre stenalder som vandrerute og handelsrute.
Hærvejen har været brugt af handelsmænd, der fragtede flint, rav, huder, honning, jydepotter og okser til Mellemeuropa. Men også af fromme pilgrimme, der skulle besøge apostlens grav i Santiago de Compostela i Nordspanien, Peterskirken i Rom eller Jerusalem. Sidst men ikke mindst, blev vejen også benyttet af hære, hvilket blandt andet de mange volde, langs ruten, vidner om.
I tidens løb har Hærvejen haft mange andre navne: Studevejen, Oksevejen, Kongevejen, Romervejen eller simpelthen Landevejen. I Sønderjylland kaldes vejen stadig "Oksevejen" på mange strækninger. For ruten fra Viborg til Danevirke, har navnet Hærvejen eksisteret siden 1930.