উনবিংশ শতকের শুরুর দিকে তৎকালীন ঢাকার বিখ্যাত ওয়াইজ পরিবারের তত্বাবধানে এ বাড়ি তৈরী হয় বলে জনশ্রুতি আছে। তখনকার সবচেয়ে বড় এবং প্রভাবশালী নিলকর জোসিয়া প্যাট্যিক ওয়াইজের<ref>Hunter, W.W. (1875) A Statistical Account of Bengal, Volume-5, trubner and co, London.</ref> নামানুসারেই [[বুড়িগঙ্গা নদী|বুড়িগঙ্গার]] এই ঘাটটির নাম হয়ে যায় 'ওয়াইজ ঘাট'।<ref>{{ওয়েব উদ্ধৃতি|ইউআরএল=https://samakal.com/print/1703277525/online|শিরোনাম=ওয়াইজঘাটে একদিন|প্রকাশক=দৈনিক সমকাল (অনলাইন) }}</ref> তবে ভিন্ন সূত্রে বলা হয় এটি পুরাতন ঢাকার আর্মেনিয়ান জমিদার নিকোলাস গোমেজেরপোগোজের হাতে নির্মিত।<ref>Bangladesh National Portal (2019). Dhaka District, retrieved from http://www.dhaka.gov.bd/site/tourist_spot/d949886a-2014-11e7-8f57-286ed488c766/আর্মেনিয়ান চার্চ</ref> তিনি পরে ওয়াইজ পরিবারের উত্তরাধীকারী [[জেমস ওয়াইজ|ডা. জেমস ওয়াইজের]] কাছে বিক্রি করেন।<ref>Ghias,{{ওয়েব Durdana (2008)উদ্ধৃতি|ইউআরএল=https://thedailystar.net/news-detail-49835|শিরোনাম=400 years of Dhaka: Rescue Pogose house before too late, |প্রকাশক=The daily star,(ed.article Mahfuzby AnamDurdana Ghias(2008) retrieved from https://www.thedailystar.net/news-detail-49835}}</ref>জেমস ওয়াইজ এটিকে কিছুটা পরিবর্ধন করেন এবং এর নাম দেন ওয়াইজ হাউজ। ১৯৫১ সালে এই ঐতিহাসিক ভবনটি সরকারের কোর্ট অব ওয়ার্ডসের তত্বাবধানে চলে যায়। পরবর্তীতে [[বুলবুল ললিতকলা একাডেমি]] এটি ক্রয় করে।<ref>মুনতাসীর মামুন (১৯৯৩)। ঢাকাঃ স্মৃতি বিস্মৃতির নগরী। ঢাকা: অনন্যা। পৃষ্ঠা ২৩০। আইএসবিএন 984-412-104-3।</ref><ref>নাজির হোসেন(১৯৭৬), কিংবদন্তীর ঢাকা, জাতীয় গ্রন্থকেন্দ্র, </ref> বর্তমানে বুলবুল ললিতকলা একাডেমি এখানে সাংস্কৃতিক প্রতিষ্ঠান পরিচালনা করছে।
