Fresse liegt rund 20 km nordwestlich von Belfort und 15 km nordöstlich von Lure am südlichen Rand der Vogesen in der Landschaft Pays des Vosges Saônoises. Der Ortskern liegt im Tal des Raddon, eines linken Zuflusses des Ognon, auf rund 500 m Höhe über dem Meeresspiegel und ist von Nadelwald umgeben. Das 27,15 km² große Gemeindegebiet reicht bis auf knapp 900 m Höhe und weist zahlreiche Teiche auf. Es ist Teil des Regionalen Naturparks Ballons des Vosges.
Die Nachbargemeinden sind Servance im Nordosten, Plancher-les-Mines im Osten, Plancher-Bas im Südosten, Ronchamp im Süden,Saint-Barthélemy im Südwesten, Belonchamp im Westen und Ternuay-Melay-et-Saint-Hilaire im Nordwesten.