Der Ort – er wird 1330 erstmals urkundlich erwähnt - ist aus einem Weiler auf der alten fränkischen Urmark Walldürn entstanden. Er war vermutlich von Anfang an im Besitz des Klosters Amorbach, dem er wahrscheinlich auch sein Entstehen verdankt.
Im 15. Jh. besaßen die Herren von Adelsheim die Hälfte des Weilers Kaltenbrunn, die es dann an das Kloster Amorbach verkauften. Zu Beginn des 16. Jh. gehörte Kaltenbrunn zum Kurmainzer Amt und zur Kellerei Dürn. Als Kurmainzer Besitz war Kaltenbrunn dem Oberamt Amorbach unterstellt, bis es 1803 an das Fürstentum Leiningen kam; 1806 wurde es badisch und 1807 dem neu geschaffenen Bezirksamt Walldürn des damaligen Main-und Tauberkreises zugeteilt.
1820 zählt Kaltenbrunn 70 Einwohner.
Von 1935-1945 war der Ort nach Glashofen eingemeindet. Seit 1975 gehört Kaltenbrunn, zusammen mit der einen Kilometer entfernten Spritzenmühle- als kleinste Teilgemeinde- zur Stadt Walldürn und bildet mit Reinhardsachsen eine gemeinsame Ortschaft.
Ende der 50er Jahre wurde ein neues Rathaus mit einem Feuerwehrraum erstellt.
Das kleine, ausschließlich landwirtschaftlich geprägte und landschaftlich reizvoll gelegene Dorf an der bayrischen Grenze ist in der Vergangenheit zweimal (1967 und 1978) von schweren Unwettern heimgesucht worden, die große Schäden verursachten.
Über die Grenzen Kaltenbrunns hinaus ist das Alpaca Village bekannt.
Einwohner: ca. 41
Gemarkungsfläche: 234 Hektar (davon 85 Hektar Wald)
Höhe: 327 m über dem Meeresspiegel
Zu dem ehemaligen Wappen des Stadtteils Kaltenbrunn hier.