L'edifici va ser construït en 1982 per a albergar la seu social de la Cooperativa agrícola Jesús Nazareno. S'alça en dues plantes tancant, a la manera de claustre, un espaiós pati al qual trauen el cap arcs de mig punt en tosca.

En 1986, responent a les necessitats de dotació cultural, l'Ajuntament adquireix l'immoble per al seu aprofitament com a centre cultural i recreatiu. La Biblioteca s'instal·la llavors en la segona planta compartint seu amb el centre social.

És el moment en què la Conselleria de Cultura estén les seues activitats i en col·laboració amb els municipis augmenta la dotació i l'activitat dels centres. Se signa al setembre de 1985 el conveni pel qual la Biblioteca Municipal de Xàbia entra a formar part de la Xarxa de Biblioteques de la Comunitat Valenciana i s'obri un període en què la Biblioteca ha de respondre a una demanda creixent, amb l'augment dels seus fons i la implantació de nous serveis.

Al mateix temps, ha d'adequar, el seu funcionament als nous sistemes de tractament de la informació. Al final dels anys noranta el catàleg de la biblioteca s'ha informatitzat i s'ha habilitat una primera dotació d'equips per a adequar la seua gestió a l'estàndard informàtic. Paral·lelament la Xarxa de Lectura Pública Valenciana posa en peus el que hui és el catàleg col·lectiu valencià mitjançant un sistema informàtic comú pel qual les biblioteques gestionen en xarxa els seus fons i l'ús d'aquests. La Biblioteca de Xàbia s'incorpora al sistema en 2003 i des de llavors posa a la disposició dels seus usuaris tots els recursos de la xarxa.

L'informe realitzat l'any 2003 per la Regidoria de Cultura sobre els Usos Culturals de Xàbia posa de manifest que la Biblioteca és una de les dotacions de major interés i el servei millor valorat del municipi. Com a mesura integrada en el nou disseny de les política cultural del municipi s'escometen els treballs d'ampliació i millora de les instal·lacions, destinant-se íntegrament l'edifici del carrer Major a Biblioteca Pública, amb el que, a partir de 2004, passa a gaudir d'una superfície de més de 500 metres quadrats. Es posen en funcionament les seccions de Fonoteca, Videoteca i accés a Internet, i s'inaugura un servei de Biblioteca Internacional en les quatre principals llengües dels residents a la ciutat: anglés, holandés, alemany i francés.

La biblioteca arriba d'aquesta forma al període actual oferint els seus serveis tant per als usos tradicionals del centre com per als noves mitjans d'accés a la informació, la qual cosa li portarà en el futur a ser gestor d'aqueixa demanda i agent per a la formació dels seus usuaris.