Berdasarkan penceritaan orang terdahulu, nama Bukit Chandan ini dicipta bersempena nama seekor gajah yang dimiliki oleh Sultan Yusof yang bernama Kulup Chandan. Pada ketika dahulu gajah itu didapati telah lari daripada Sultan. Setelah didapati gajah itu lari, Sultan dan juak-juaknya mengikut jejak gajah tersebut sehingga ke kaki Gunung Kubu. Lalu baginda pun bertembung dengan seorang orang tua yang berjangut panjang yang memakai jubah berwana putih dan lantas orang tua itu mendekati dan sembah Sultan, lalu orang tua itu berkata,
"Tuanku bakal menjadi Sultan Perak. Setelah tuanku ditabalkan menjadi Sultan, janganlah Tuanku bersemayam di Sayong tetapi hendaklah Tuanku membina istana di atas bukit pinggir Batang Hari. Maka gajah yang bernama Kulup Chandan hendaklah tuanku lepaskan setelah tujuh hari daripada pertabalan Sultan."
Setelah Sultan Idris ditabalkan menjadi Sultan Perak yang ke-28, segala pesanan yang dibuat oleh orang tua itu telah pun ditunaikan. gajah yang bernama Kulup Chandan itu telah dilepaskan. Bermula dari tarikh itu, nama Bukit Chandan kekal sebagai tempat terletaknya istana rasmi DYMM Sultan Perak.
Gambar diatas adalah murel yang dilukis pada dinding bangunan ke arah Bukit Chandan dan ianya merupakan salah satu simbol sejarah Bukit Chandan.
