Foto Istana Sultan Perak ke-25 (antara 1872-77). Sultan Yusuf adalah putera Almarhum Sultan Abdullah Muhammad I, Sultan Perak yang ke 22. Semasa Sultan Jaafar, Sultan Perak yang ke-23 mangkat pada tahun 1865, dan juga semasa Sultan Ali, Sultan Perak yang ke-24 mangkat, Baginda telah tidak dipilih menjadi Raja Bendahara walaupun Baginda berhak. Ini disebabkan ramai Raja-raja dan Orang-orang Besar Perak tidak sukakan Baginda.
Pada tahun 1871, Raja Bendahara Ismail telah diangkat menjadi Sultan Perak yang ke-25 tetapi Raja Muda Abdullah yang bersemayam di Batak Rabit telah tidak berpuas hati dengan perlantikan itu. Untuk menguatkan kedudukannya, Raja Muda Perak yang bersemayam di Senggang dan Baginda sendiri mengaku diri Baginda sebagai Sultan Perak yang ke-26, bergelar Sultan Abdullah Muhammad Shah II, Marhum Habibullah.
Pada tahun 1877, Baginda telah berangkat ke Singapura kerana dipanggil oleh Kerajaan British berhubung dengan penyiasatan pembunuhan James W.W.Birch di Kuala Biah, Pasir Salak (pada 1875). Raja Yusuf telah diangkat menjadi Pemangku Raja bagi Negeri Perak, dan Baginda telah berpindah ke Sayong, seberang pekan Kuala Kangsar. Raja Idris Ibni Almarhum Raja Alang Iskandar dibenarkan balik ke Perak dari Singapura untuk membantu mertuanya Raja Yusuf untuk memerintah Negeri Perak. Raja Yusuf diiktiraf menjadi Pemangku raja daripada tahun 1877, manakala Raja Idris pula diangkat menjadi Raja Bendahara Perak.
Istana ini dibina pada 1926. Berbentuk seperti pedang, dindingnya diperbuat daripada bilah buluh yang dianyam (kelarai) dan bermotifkan berlian. Bumbung berbentuk perabung lima seperti rumah tradisi Melayu dan perabung pisang sesikat. Istana ini siap pada 1931 dan menjadi tempat bersemayam sementara untuk Sultan Iskandar Shah, Sultan Perak ke-30 (1918-1938). Ketika ini Istana Negara (yang asal) dirobohkan untuk membina Istana Iskandariah.
Juga dikenali sebagai Istana Kenangan, Istana Tepas dan Istana Lembah. Muzium DiRaja Perak ini dibina tanpa menggunakan pelan arkitek atau sebarang paku. Ia terletak berdekatan Istana Iskandariah, tempat bersemayam Sultan Perak di Kuala Kangsar.