Cavendish annesi ve babası tarfından köklü ailelerden geliyordu. Büyük babaları Devonshire dükü ile Kent dükü idi. Annesi 1733'te, Cavendish'in kardeşi Frederick'i dünya'ya getirdikten sonra öldü. Cavendih 1742'de Londra yakınındaki Hackney ilahiyat okuluna girdi. 1749-53 arasında Cambridge üniversitesine bağlı Peterhouse College'a devam ettiyse de sanıldığına göre Ingiltere kilisesine bağllılık sözü vermekten kaçındığı için burayı bitiremedi.