এটি ১৯৫৬ গ্রীষ্মকালীন অলিম্পিকের ভেন্যু হিসেবে ব্যবহৃত হয়, যার মধ্যে উল্লেখযোগ্য ইভেন্ট ছিল বাস্কেটবল, ভারোত্তলন, কুস্তি।<ref>[http://www.iamfa.org/PapyrusWinter04.pdf?L1=2&L2=0&L3=0&L4=0&L5=0 The Royal Exhibition Building in Melbourne]{{অকার্যকর সংযোগ|তারিখ=ফেব্রুয়ারি ২০১৯ |bot=InternetArchiveBot |ঠিক করার প্রচেষ্টা=yes }}</ref><ref>[http://www.la84foundation.org/6oic/OfficialReports/1956/OR1956.pdf 1956 Summer Olympics official report.] p. 43.</ref>
১৯৪০ সাল নাগাদ স্থানীয়দের কাছে এটি হোয়াইট ইলিফ্যান্ট নামে পরিচিতি লাভ করে।<ref>"[http://museumvictoria.com.au/DiscoveryCentre/Infosheets/Royal-Exhibition-Building/ The Royal Exhibition Building] {{ওয়েব আর্কাইভ|ইউআরএল=https://wwwweb.webcitationarchive.org/66ES8hlPS?url=web/20131108155227/http://museumvictoria.com.au/discoverycentre/infosheets/royal-exhibition-building/ |তারিখ=১৭৮ মার্চনভেম্বর ২০১২২০১৩ }}" museumvictoria.com.au. URL accessed on 6 November 2007.</ref> পরবর্তীতে ১৯৫০ সালের দিকে এই ভবনকে সরকারী কাজে ব্যবহৃত করা হয়, যা মেলবোর্নের অনেক ঐতিহ্যবাহী ভবনের একই অবস্থা সৃষ্টি হয়েছিল। ১৯৪৮ সালে মেলবোর্ন সিটি কাউন্সিলের সদস্যরা এই প্রাসাদের পক্ষে ভোট দেয় এবং সিদ্ধান্ত হয় যে স্বল্প আকারে এই ভবনকে ধ্বংসের হাত থেকে রক্ষা করা হবে। এই ভবনের যে অংশে মেলবোর্নের অ্যাকুতিয়াম ছিল তা ১৯৫৩ সালের অগ্নিকান্ডে ধ্বংস হয় যায়। ১৯৪০-১৯৫০ এর দশকে এই ভবনটি নিয়মইত সাপ্তাহিক নাচের ভেন্যু হিসেবে ব্যবহৃত হতে থাকে। কিছু দশক পরে এখানে নৌকা প্রদর্শনী, গাড়ী প্রদর্শনী এবং নিয়মিত শিল্পীয় পণ্যের প্রদর্শনীর কাজে ব্যববৃত হয়। ভবনের অন্যান্য ব্যবহারের পাশাপাশি ১৯৫০, ১৯৬০ এবং ১৯৭০ দশকে এই ভবন স্টেট হাই স্কুল মেট্রিকুলেশন ভিক্টোরিয়ান সার্টিফিকেট পরীক্ষার কেন্দ্র হিসেবেও ব্যবহৃত হয়। যদিও প্রধান বলরুমটি ১৯৭৯ সালে ধ্বংস হয়ে যায়। প্রাসাদের প্রধান গঠন অপরিবর্তিত রেখে ১৯৬০ ও ১৯৭০ দশকে<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Museum Victoria |ইউআরএল=http://www.museumvictoria.com.au/pages/845/REBNom_3.pdf |সংগ্রহের-তারিখ=২৭ নভেম্বর ২০১৩ |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20120910204305/http://museumvictoria.com.au/pages/845/rebnom_3.pdf |আর্কাইভের-তারিখ=১০ সেপ্টেম্বর ২০১২ |অকার্যকর-ইউআরএল=হ্যাঁ }}</ref> এই প্রাসাদের বিভিন্ন অংশ পুনঃনির্মাণ করা হয়। প্রধান বলরুমের ধ্বংসের পর একটি গণজাগরণ ঘটে এই প্রাসাদটিকে ধ্বংসের হাত থেকে রক্ষা করা জন্য।
