Setelah studinya selesai, ia kembali ke Rugeley dan bekerja di Rumah Sakit Staffordshire. 

Namun, profesi dokternya mulai menyimpang, karena tergoda mengejar taruhan dan perjudian, terutama di balap pacuan kuda. 

Saat itu Palmer mulai mengalami kesulitan finansial, bahkan berani memalsukan tanda tangan ibunya sendiri untuk melunasi kreditur.

Palmer menikah dengan Ann Thornton dan memiliki 5 anak, tapi hanya anak pertama yang bertahan. 

Dikabarkan keempat anak yang lain meninggal kejang-kejang sebelum menginjak satu tahun. 

Diduga diracuni ayahnya sendiri untuk menghindari beban keuangan.