প্রায় চারশত বৎসর আগে এই জমিদার বাড়িটি প্রতিষ্ঠিত হয়। এই জমিদার বাড়ির প্রতিষ্ঠাতা ছিলেন মুরারিদেব ঘোষাল ভট্টাচার্য। তিনি ছিলেন একজন [[ব্রাহ্মণ]]। মহারাজা প্রাণ নারায়ণের শাসনামলে তিনি [[চব্বিশ পরগনা]] জেলা হতে [[কোচবিহার জেলা|কোচবিহারে]] আসেন "রসিক রায় বিগ্রহ" নিয়ে (এটি একটি ধর্মীয় বিষয়)। তখনকার সময় ধর্মীয় কাজের জন্য ভূমি দান করার প্রথা ছিল। তার পরিপ্রেক্ষিতে রাজা তাকে "বিগ্রহ পূজা" করার জন্য ৯টি মৌজা দান করেন। কিন্তু তিনি তা ভোগ করতে অাপত্তি জানান কেননা তিনি ছিলেন একজন ব্রাহ্মণ। পরে অবশ্যকআবশ্যক রাজাকে সেই সম্পত্তি ভোগের উপর [[খাজনা]] নেওয়ার জন্য বলেন। রাজা রাজী হলেন, তবে খাজনা হিসেবে ধানের তুষ নেওয়ার জন্য। যার ফলে খাজনা স্বরূপ কোচবিহার রাজ্যকে ধানের তুষ দেওয়া লাগতো। এই তুষ সংগ্রহ করা হত পুরো জমিদারি এলাকা হতে এবং তা জমানো হতো জমিদার বাড়ির পূর্ব পাশে। এই কারণেই এই জমিদার বাড়ির নাম হয় তুষভাণ্ডার জমিদার বাড়ি। এই জমিদার বাড়িটি যে থানায় অবস্থিত অর্থাৎ কালীগঞ্জ থানায়। এই [[কালীগঞ্জ উপজেলা|কালীগঞ্জ থানাটির]] নামকরণ করা হয়েছে এই জমিদার বংশের এক জমিদারের নামে। তিনি ছিলেন জমিদার কালী প্রসাদ রায় চৌধুরী। কালী প্রসাদ রায় চৌধুরী ছিলেন একজন ধর্মপরায়ণ ও সমাজসংস্কারক। ১৬৩৪ সালে এই জমিদার বাড়ি প্রতিষ্ঠা হওয়ার পর প্রায় চারশত বছর পর এই তুষভাণ্ডার জমিদার বাড়ির সমাপ্তি ঘটে জমিদার গীরিন্দ্র মোহন রায় চৌধুরীর মৃত্যুর পর ১৯৩৫ সালে। <ref name="snn24.com"/><ref name="lalmonirhat.gov.bd">{{ওয়েব উদ্ধৃতি|ইউআরএল=http://www.lalmonirhat.gov.bd/site/tourist_spot/1faa1a5e-18ff-11e7-9461-286ed488c766/%E0%A6%A4%E0%A7%81%E0%A6%B7%E0%A6%AD%E0%A6%BE%E0%A6%A8%E0%A7%8D%E0%A6%A1%E0%A6%BE%E0%A6%B0+%E0%A6%9C%E0%A6%AE%E0%A6%BF%E0%A6%A6%E0%A6%BE%E0%A6%B0+%E0%A6%AC%E0%A6%BE%E0%A7%9C%E0%A6%BF|শিরোনাম=তুষভান্ডার জমিদার বাড়ি - লালমনিরহাট জেলা - লালমনিরহাট জেলা|কর্ম=www.lalmonirhat.gov.bd}}{{অকার্যকর সংযোগ|তারিখ=মার্চ ২০২০ |bot=InternetArchiveBot |ঠিক করার প্রচেষ্টা=yes }}</ref><ref>{{ওয়েব উদ্ধৃতি|ইউআরএল=http://www.lalmonirhat.gov.bd/site/tourist_spot/1faa3e97-18ff-11e7-9461-286ed488c766/%E0%A6%A4%E0%A7%81%E0%A6%B7%E0%A6%AD%E0%A6%BE%E0%A6%A8%E0%A7%8D%E0%A6%A1%E0%A6%BE%E0%A6%B0+%E0%A6%9C%E0%A6%AE%E0%A6%BF%E0%A6%A6%E0%A6%BE%E0%A6%B0%E0%A7%80+%E0%A6%AC%E0%A6%82%E0%A6%B6+%E0%A6%93+%E0%A6%9C%E0%A6%AE%E0%A6%BF%E0%A6%A6%E0%A6%BE%E0%A6%B0+%E0%A6%AC%E0%A6%BE%E0%A7%9C%E0%A7%80|শিরোনাম=তুষভান্ডার জমিদারী বংশ ও জমিদার বাড়ী - লালমনিরহাট জেলা - লালমনিরহাট জেলা|কর্ম=www.lalmonirhat.gov.bd}}</ref>
