Şarkının sözleri, 1930'larda Amerikalı şarkıcı ve söz yazarı Tommy Dorsey tarafından yazılmış ve Harold Arlen tarafından bestelenmiştir. Tommy Dorsey, şarkıyı ilk olarak 1934 yılında kendi albüm kaydında seslendirmiştir. For Heaven's Sake şarkısını Billie Holiday ilk olarak 1945 yılında seslendirmiştir. 1958 yılında yayınlanan Lady in Satin albümü ile bu güzel şarkının duygusal derinliği ve hikayesindeki kırılganlığı mükemmel bir şekilde yorumlamıştır.