মন্দিরের উত্তর দিকের ভিত্তিবেদীর শিলালিপি থেকে জানা যায়, তৎকালীন দিনাজপুরের মহারাজা জমিদার প্রাণনাথ রায় তার শেষ বয়সে মন্দিরের নির্মাণ কাজ শুরু করেন। [[১৭২২]] খ্রিষ্টাব্দে তার মৃত্যুর পরে তার শেষ ইচ্ছা অনুযায়ী তার পোষ্যপুত্র মহারাজা রামনাথ রায় [[১৭৫২]] খ্রিষ্টাব্দে মন্দিরটির নির্মাণ কাজ শেষ করেন। শুরুতে মন্দিরের চূড়ার উচ্চতা ছিলো ৭০ ফুট। [[১৮৯৭]] খ্রিষ্টাব্দে মন্দিরটি [[ভূমিকম্প|ভূমিকম্পের]] কবলে পড়লে এর চূড়াগুলো ভেঙে যায়। মহারাজা গিরিজানাথ মন্দিরের ব্যাপক সংস্কার করলেও মন্দিরের চূড়াগুলো আর সংস্কার করা হয়নি। বিংশ শতাব্দীর শুরুর দিকে মহারাজা গিরিজানাথ বাহাদুর ধ্বংস হয়ে যাওয়া নয়টি শিখর বাদে মন্দিরটির ব্যাপক পুনর্গঠন করেছিলেন। ধারণা করা হয়, গঙারামপুরের (দিনাজপুর) নিকট বাননগরের প্রাচীর ধ্বংসাবশেষ থেকে নির্মাণ উপকরণ এনে এটি তৈরি করা হয়েছিল। প্রচলিত ধারণা মতে মহারাজ প্রাণনাথ ১৭০৪ সালে এ মন্দিরটি তৈরি করে এখানে কৃষ্ণের মূর্তি প্রতিষ্ঠা করেন। এটি সাময়িকভাবে বৃন্দাবন থেকে আনা হয়েছিল। নবরত্ন মন্দির তৈরি সমাপ্ত হলে এ মূর্তিটি এখানে স্থানান্তর করা হয়। এটি এখন একটি পরিত্যক্ত দেবালয়। এ মন্দিরটি ছিল ১৬ পার্শ্ব সম্বলিত সৌধ এবং এর উচ্চতা ছিল ৪০ ফুট এবং এর দক্ষিণ দিকে প্রবেশ পথে ছিল বহু খাঁজবিশিষ্ট খিলান।
