Awal mulanya, benteng tersebut pada masa penjajahan Belanda dijadikan tempat penjara bagi masyarakat yang tidak tunduk pada aturan atau melanggar aturan yang telah dibuat oleh pihak Belanda.

Dikisahkan pada masa itu banyak terdapat kekerasaan yang terjadi di penjara tersebut. Banyak tahanan tersiksa dan ada pula yang mati mengenaskan di dalam penjara karena disiksa oleh sipir penjara. Mungkin karena kisah tersebut sekarang banyak rumor di benteng Belanda yang beredar.

Tarno (47) salah satu warga Benteng Mempura mengatakan, dirinya pernah mengalami cerita mistis kala itu dia dan istrinya hendak ke seberang dan melintas di depan benteng tersebut, sayup sayup dari kejauhan dirinya mendengar suara seorang wanita menangis.

Namun saat ia menengok ke arah salah salah satu sudut jendela, ia melihat sesosok wanita berambut panjang mengenakan kain putih namun tidak menampakkan wajahnya.

Selain itu ada kisah yang nyata terjadi di benteng tersebut. Pada suatu ketika anak-anak desa tengah bermain futsal di salah satu halaman sekitar bangunan, saat mereka istrhata Setelah bermain, tak disangka bangunan tempat mereka  bermain futsal rubuh dan merenggut 2 nyawa pemuda tersebut kala itu.

Banyak yang mengatakan rubuhnya bangunan tersebut karena salah seorang anak mengambil tiang penyangga bangunan untuk dijual. Ada juga yang mengatakan bahwa bangunan roboh di karenakan arwah orang yang di penjara mati karena disiksa marah karena anak-anak bermain di bangunan tersebut.