Il 25 dicembre del 1732 il vescovo Filippo Tipaldi fondò l'Istituto delle Suore Oblate San Francesco Saverio e al suo interno eresse una piccola biblioteca ad uso delle suore e delle educande. La biblioteca a causa della soppressione degli ordini religiosi, avvenuta il 9 febbraio 1771, andò in gran parte dispersa. L'attuale biblioteca risulta costituita da residui del fondo antico, da donazioni di privati e da successivi acquisti.