আনুমানিক ১৯০০ শতকে জমিদার যদুনাথ রায় এই জমিদার বাড়ি প্রতিষ্ঠা করেন। যদুনাথ সাহারায় ছিলেন মূলত একজন ব্যবসায়ী। তিনি বরিশাল থেকে সুপারি, লবণ ও শাড়ি আমদানি করে কলকাতার মুর্শিদাবাদে রপ্তানি করতেন। জমিদার যদুনাথ রায় ছিলেন পাঁচ সন্তানের জনক। তাই তাদের জন্য আলাদা আলাদাভাবে আরো চারটি বাড়ি তৈরি করেন। যেগুলো বর্তমানে কোকিলপেয়ারি জমিদার বাড়ি, জজ বাড়ি ও উকিল বাড়ি নামে পরিচিত। আর মূল বাড়িটি ছোট ছেলে নবকুমারকে দিয়ে দেন। এই জমিদার বংশধররা ব্রিটিশ আমলে কয়েকজন বাঙালী ধনীদের মধ্যে একটি ধনী পরিবার ছিল। জমিদারদের মধ্যে হরলাল রায়, রাজা শ্রীনাথ রায় ও প্রিয়নাথ রায়ের নাম উল্লেখযোগ্য। তারা তাদের কর্মযজ্ঞের ফলে ব্রিটিশদের কাছ থেকে '''রাজা''' উপাধি লাভ করেন। তখনকার সময় এই জমিদার বংশধররা সকলেই ছিলেন উচ্চ শিক্ষিত। জমিদার বংশধরদের অধিকাংশ এখন ভারতের মুর্শিদাবাদে বসবাস করতেছেন। তবে এই বংশধরের অনেকে এখনো এখানে বসবাস করতেছেন।
