বিক্রমপুর একাদশ শতকে বল্লাল সেনের বিরুদ্ধে প্রতিরোধযুদ্ধে নিহত হন মক্কা থেকে আসা বাবা আদম। তাঁর সমাধির চৌহদ্দিতে চার শ বছর পর নির্মিত হয় মসজিদটি। ১৯৪৮ সাল থেকে প্রত্নতত্ত্ব অধিদপ্তরের তত্ত্বাবধানে আছে এটি।