Pero esta oferta fue sólo un sueño. Unas semanas más tarde fue sometido a una cirugía a corazón abierto y la campaña fracasó. Se retiró de la carrera en octubre de 2003 y un mes después declaró que no buscaría la reelección al Senado en 2004. Se retiró al final de su mandato en enero de 2005.
Daniel Robert Graham, que nunca usó su nombre de pila, nació el 9 de noviembre de 1936 en Coral Gables, Florida, hijo de Ernest R. Graham, conocido como Cap, e Hilda (Simmons) Graham. De un matrimonio anterior con Florence Morris, Ernest Graham tuvo tres hijos, Mary, Philip y William Graham, los medio hermanos de Robert. Phil Graham y su esposa, Katharine (Meyer) Graham, cuya familia era propietaria del Washington Post, eran copropietarios del periódico y él también se convirtió en su editor.
Ernest Graham, productor de leche, ingeniero de minas, promotor inmobiliario y político demócrata, fue senador por Florida de 1937 a 1944. Su segunda esposa era profesora. Algunos estudios genealógicos sugieren que la familia Graham compartía ancestros lejanos comunes con los presidentes Jimmy Carter, Richard M. Nixon y Warren G. Harding.
En Miami Senior High School, Robert Graham recibió el premio Sigma Chi, el honor más alto de la escuela por su carácter, liderazgo, erudición y servicio; fue elegido presidente del cuerpo estudiantil durante su último año; y se graduó en 1955. En la Universidad de Florida, fue incluido en la sociedad de honor Phi Beta Kappa y obtuvo una licenciatura en ciencias políticas en 1959. Se graduó en la Facultad de Derecho de Harvard en 1962.
En 1959, Graham se casó con Adèle Khoury. Tuvieron cuatro hijas: Gwen, Cissy, Suzanne y Kendall. Gwen Graham se desempeñó como representante de Estados Unidos en Florida de 2015 a 2017, se postuló sin éxito para gobernadora de Florida en 2017 y se convirtió en subsecretaria de educación en la administración Biden.