Sein Vater war der Milchmann des Ortes (der letzte Milchmann Südjütlands), die Mutter bediente im Kaufmannsladen der Familie.
Erling Jepsen studierte in Aarhus und debütierte als Schriftsteller 1977 mit einem Hörspiel. 2002 gelang ihm der Durchbruch mit „Die Kunst, im Chor zu weinen“.
Jepsens Romane basieren zum Teil auf Erfahrungen aus seiner eigenen Jugend. Er arbeitet zudem als Dramatiker und wurde mit dem Ehrenpreis des Dänischen Dramatikerbundes ausgezeichnet. Erling Jepsen lebt in Kopenhagen.
Mehrere Romane von Erling Jepsen wurden verfilmt.