Ez a kép tekinthető Milles első kísérletének, hogy elmozduljon a hozzá már megismert narratív és történelmi parcelláktól. 1854 novemberében úgy döntött, hogy ír egy olyan vászont, amely filozófiai gondolatokat keltett az élet átmeneti jellegéről, az időről. Abban az időben a művész barátjával, Tennyson költővel járt.
Egy este segített neki összeesni és lehullni a lehullott leveleket. Milles emlékei az őszi szürkületről annyira erősek voltak, hogy arra késztették, hogy készítse ezt a szomorú vászonot.
A kép összetétele egyszerű: sárga-piros levelek, a tűzből felszívódó füst és a fiatal lányok alakjai. Milles Skóciában írta a ház kertjében, ahol ő és felesége először az esküvő után éltek. A négy lány az Effie, Alice és Sophie Gray fiatalabb nővérek, valamint a helyi lakosok.