Имя при рождении – Одри Кэтлин Растон (Audrey Kathleen Ruston).
Была единственным ребенком Джозефа Виктора Растона, англо-ирландского банкира, и баронессы Эллы Ван Хеемстра, голландской аристократки, в роду которой были французские дворяне и английские монархи.
Во время Голландского голода зимой 1944 года нацисты конфисковывали скудные запасы еды и топлива. Без тепла и пищи жители Нидерландов голодали, некоторые замерзали прямо на улицах. Арнхем опустел во время бомбардировок союзников. Дядя и двоюродный брат матери Одри были расстреляны за участие в движении Сопротивления. Её брат находился в немецком концлагере.