În 1481, secretarul orașului, Willem Pauwels, a donat colecția sa de 41 de cărți orașului Anvers. În 1505, colecția a fost plasată în Primăria din Anvers . Această colecție originală a fost pierdută în 1576, când primăria a aprins focul în timpul furiei spaniole , când trupele spaniole au răpit orașul.

Orașul a decis curând să reconstruiască biblioteca. Christopher Plantin și succesorii săi au donat o copie a fiecărei cărți tipărite, inclusiv Biblia Polyglotta și Opticorum libri VI de Francis Aguilonius . În 1594, noua bibliotecă a fost din nou adăpostită în primărie, dar de data aceasta în fosta sală a miliției.

În 1604, episcopul Joannes Miraeus a fondat seminarul din Antwerp, care a fost responsabil de educația clerului secular. În curând a fost nevoie de o bibliotecă privată, astfel încât Miraeus ia numit pe nepotul său erudit Aubertus Mireu drept bibliotecar. Aubertus a creat o colecție umanistă expansivă, datorită donațiilor de cercetători, cetățeni bogați și imprimante de cărți. În 1609, conducerea a început negocierile cu consiliul municipal pentru a îmbina cele două biblioteci. Aubertus Miraeus a inventariat biblioteca capitolului și a publicat-o cu titlul Bibliothecae Antverpianae Primordia . El menționează 356 de lucrări, inclusiv 32 de manuscrise. În 1617, cele două biblioteci au fuzionat. Colecția rezultată a fost găzduită în seminar.

După Tratatul de la Münster și blocarea râului Scheldt, spațiul a devenit disponibil în casa de comerț din cauza crizei economice. Consiliul municipal a decis să păstreze colecția bibliotecii in această clădire. În următorii treizeci de ani, biblioteca a fost neglijată. În 1677, Andries Van Valckenisse, secretar al orașului, a facut un nou inventar. Cărțile s-au mutat în „sala de insecte” din primărie în 1687. În această cameră magistrații și medicii au încercat să facă un plan de prevenire împotriva epidemiilor.

În 1795, acest lucru sa schimbat atunci când ocupanții francezi au fondat Ecole Centrale în Anvers, care avea o bibliotecă ce era formata din lucrări ale mănăstirilor abolite. Ecole Centrale sa închis în 1802. Multe cărți au fost returnate inițial proprietarilor, dar alte lucrări au devenit parte din Biblioteca orașului. În 1805, biblioteca a fost deschisă publicului.

Bibliotecarii Frans Henry Mertens și Constant Jacob Hansen au dezvoltat colecția în mod substanțial și au construit structura bibliotecii așa cum se află astăzi.

Mertens a fost numit bibliotecar în 1834. El a creat o nouă ordine de carte și a publicat un catalog tipărit. A început colecția impresionantă de literatură olandeză pe care încă se concentrează biblioteca. În ultimii ani, a contribuit la dezvoltarea Bibliotecii Populare, care mai târziu a fost numită Biblioteca Publică . În 1865, orașul Anvers a optat pentru două tipuri de biblioteci: o Bibliotecă populară (olandeză: Volksboekerij) cu cărți contemporane împrumutate și o bibliotecă municipală pentru conservarea permanentă a publicațiilor, pe de altă parte.

Creșterea constantă a Bibliotecii Locale și a Bibliotecii Populare a dus la lipsa de spațiu la Primărie. Prin urmare, orașul Antwerp a cumpărat o cladire din secolul al XVII-lea, situată la Jezuiëtenplein, la opusul Carolus Borromeuskerk . După o renovare aprofundată, aproximativ 43.000 de volume ale fostei Biblioteci Municipale împreună cu cele 20.000 de lucrări ale Bibliotecii Populare au fost transferate în noul sediu în 1883. În ziua deschiderii oficiale, statuia lui Hendrik Conscience a fost dezvăluită. Cu toate acestea, lipsa spațiului a rămas o problemă majoră, iar în 1895, Biblioteca Poporului sa mutat într-o nouă locație.

Când în 1905 moștenitorii lui Gustave Havre doreau să-și vândă colecția impresionantă de cărți la o licitație la Amsterdam , bibliotecarul-șef Gittens și Maxim Rooses , curator al bibliotecii Muzeului PlantinMoretus , a cerut Consiliului Local, presei și mai multor patronii să cumpere colecția. Datorită unui fond de dotare, un sfert din colecția ar putea fi achiziționat. Astăzi, colecția de Havre este încă o parte importantă a cărților bibliotecii. Fondul de dotare încă mai există. Acum se numește Dotatiefonds voor Boek en Letteren și este un sponsor regulat pentru achiziții semnificative.Biblioteca orașului continua să se lupte cu o lipsă de spațiu. În anii 1930 și 1990 s-au efectuat lucrări minuțioase de reînnoire și extindere. De fiecare dată, infrastructura a fost optimizată pentru confortul vizitatorului și pentru păstrarea unei colecții tot mai valoroase.În 1980, Biblioteca Publică și Biblioteca Municipală au fost separate.La începutul secolului, biblioteca orașului a devenit una dintre principalele biblioteci de referință din Flandra. Accentul principal al bibliotecii a rămas asupra umanismului în general și a patrimoniului cultural flamand în special. În 2008, numele oficial a fost schimbat: Erfgoedbibliotheek Hendrik Conscience (Hendrik Conscience Heritage Library).