Miasto zostało założone w czasach przedrzymskich i osiągnęło wielkie znaczenie w czasach panowania Karola Wielkiego, który zbudował tu swój pałac cesarski Kaiserpfalz (palatynat). Jego syn i następca Ludwik Pobożny często korzystał z pałacu i zmarł na pobliskiej wyspie na Renie 20 czerwca 840 r. Kilka synodów i posiedzeń Świętego Cesarstwa Rzymskiego odbyło się w Ingelheim. Pozostałości pałacu zostały odkopane i są obecnie udostępnione do zwiedzania. W późnym średniowieczu znaczenie pałacu znacznie zmalało, jedynie za panowania cesarza Fryderyka Barbarossy, który podziwiał Karola Wielkiego, doszło do krótkiego przywrócenia jego świetności. W wieku XV i XVI miał tu swoją siedzibę w dzielnicy Ober-Ingelheim sąd regionalny. Oprócz ruin pałacu Karola Wielkiego można w Ingelheim podziwiać także wiele innych zabytków, wśród nich ratusz, wieża Bismarcka, kościół św. Remigiusza z rzeźbą Baranka Bożego, kościół Saalkirche z 997 r. oraz kościół Burgkirche, którego fortyfikacje broniły mieszkańców przed przemaszerowującymi wojskami w czasach wielu wojen na przestrzeni wieków. Znane święto czerwonego wina das Rotweinfest, odbywające się na przełomie września i października w malowniczych okolicach tego kościoła, przyciąga co roku wielu turystów.