Dia menjadi walikota Buffalo pada tahun 1881 dan terpilih sebagai gubernur New York pada tahun 1882.

Kaum konservatif Amerika mengaguminya karena kebijakannya dan dia dipuji karena komitmennya terhadap prinsip-prinsip liberalisme klasik dan karena menjadi orang yang jujur. Dia berjuang melawan korupsi politik, patronase, dan bosisme.

Sekelompok pemimpin Partai Republik yang disebut ‘Mugwumps’ yang menginginkan reformasi dan tidak senang dengan kandidat mereka sendiri, mantan Ketua DPR AS James G. Blaine, melintasi garis partai untuk mengecam Blaine sebagai korup dan mendukung Cleveland dalam pemilihan presiden 1884.

Mereka tidak khawatir bahwa dia berasal dari partai oposisi, dan melihatnya sebagai jiwa yang sama yang akan mempromosikan reformasi layanan sipil dan memperjuangkan efisiensi dalam pemerintahan.

Partai Republik yang marah menggali masa lalunya dan menuduh bahwa Cleveland telah menjadi ayah dari seorang saat dia menjadi pengacara di Buffalo. Mereka mulai meneriakkan "Ma, Ma, di mana Paku?" dalam rapat umum mereka.

Dia mengaku membayar tunjangan anak pada tahun 1874 kepada seorang wanita bernama Maria Crofts Halpin, yang mengatakan bahwa dia adalah ayah dari anaknya.