Müze binasının kuzey kanadında ikinci kata yerleştirilen kütüphaneye özel izinle giriliyor. Girişindeki bölüm Sadrazam Ahmed Cevad Paşa Kütüphanesi olarak biliniyor. 19. yüzyıl sonundaki klasik mobilya üslubunun en güzel örneklerinden biri olan dolaplarıyla ve korkuluklarıyla öne çıkan kütüphanede, tek nüshası olan binlerce değerli kitap bulunuyor. Kütüphanenin tarihi, 1846 yılında Ahmet Fethi Paşa tarafından Saint Irene kilisesinde kurulan ilk Osmanlı Müzesi'ne kadar uzanıyor. Kütüphane günümüzde ziyarete kapalı ve özel izinle araştırmacılar tarafından kullanılıyor. Kütüphanede bulunan bağış koleksiyonları ise Sadrazam Ahmed Cevad Paşa Koleksiyonu, Mehmet Şakir Paşa Koleksiyonu, Sultan 5. Reşad’ın Şark Kütüphanesi Koleksiyonu, Diyarbakırlı Said Paşa Koleksiyonu, Recaizade Ekrem Bey Kitapları, Hattat Mektebi Kitapları, Murtaza Hocazade Hatice Hanım Kitapları, Zeki Megamiz Kitapları ve el yazmaları olarak biliniyor.