Otra legislación de 1843 estableció un Consejo de Educación, y colocó el control de la biblioteca pública y el bibliotecario bajo este Consejo. En aquel momento, la colección constaba de menos de 1.000 volúmenes y se encontraba en el edificio que posteriormente albergó la Phoenix Hose Company. En 1852, la biblioteca se trasladó al segundo piso del 233-235 de Main Street, y se volvió a trasladar en 1862, al edificio del Tribunal del Condado. En 1872 se construyó un nuevo edificio, en la esquina noroeste de Washington Street y Lafayette Place, para albergar tanto la escuela secundaria como la biblioteca. En 1893, la colección contenía más de 18.000 volúmenes y había desbordado el espacio (Cramer, Eldridge & Van Cleef, 1894). Además, el instituto de la segunda planta resultó ser una distracción ruidosa para los clientes.

En 1895, insatisfechos con el acuerdo, se formó un comité para visitar las bibliotecas y obtener un modelo adecuado para un edificio de biblioteca. Después de recorrer varias bibliotecas de Nueva Inglaterra, el comité volvió con las siguientes recomendaciones: una ubicación central para el edificio cerca de la calle principal, pero no en ella, todo en una sola planta, con espacio incorporado para futuras ampliaciones, y una construcción a prueba de incendios.

La perspectiva de un nuevo edificio para la biblioteca se acercó mucho más a la realidad cuando, en junio de 1896, se envió una carta al Consejo Municipal de Poughkeepsie. La carta indicaba el deseo de la familia Adriance de construir una biblioteca en memoria de sus padres, los difuntos John P. y Mary J.R. Adriance. Este edificio de la biblioteca sería donado a la ciudad, siempre que ésta cumpliera ciertas condiciones, entre ellas la compra de un terreno adecuado. El consejo aceptó esta oferta y sus condiciones por unanimidad. En agosto de 1896 se seleccionó un lugar y se presentó a la familia Adriance para su aprobación. El emplazamiento aprobado, en la calle Market, se preparó entonces para la colocación de la primera piedra en primavera.

La familia Adriance eligió a Charles Frederick Rose como arquitecto. Antiguo residente que comenzó su carrera en Poughkeepsie, Rose se había trasladado desde entonces a la ciudad de Nueva York. Se sabe muy poco más de su vida y su carrera. Su diseño, concebido en el estilo italianizante de la tradición Beaux Arts tan popular en la época, incorporó cuidadosamente las recomendaciones del comité de 1895. El diseño de la estructura original, que ha sido restaurado en varias ocasiones, se mantiene en gran medida intacto en la actualidad.

Titus and Round, una empresa contratista de Poughkeepsie, fue seleccionada para construir la estructura. El mármol blanco del exterior procede de la Adams Marble Company de Adams, MA, y las columnas y pilastras de mármol artificial del vestíbulo central fueron suministradas por John Shipway, de Nueva York.

En 1959, la biblioteca fue designada como Centro de Referencia del recién creado Sistema de Bibliotecas del Medio Hudson, que sigue prestando servicio a las bibliotecas de los condados de Columbia, Dutchess, Greene, Putnam y Ulster. A principios de la década de 1960, la colección había superado los 100.000 volúmenes, y de nuevo se hizo evidente la necesidad de más espacio. En previsión de una futura expansión, la ciudad compró las propiedades colindantes por detrás, demolió las estructuras existentes y creó un aparcamiento.

En 1966, la biblioteca celebró su ¹²⁵ aniversario, lo que le valió un artículo en el New York Times. En 1967, un consultor de la biblioteca reiteró la necesidad de más espacio, recomendando que la biblioteca duplicara su tamaño actual. Los planes se elaboraron en 1972, pero las limitaciones presupuestarias de los años setenta y ochenta impidieron la realización de cualquier plan de ampliación. El crecimiento de la colección continuó y el nivel de actividad aumentó de año en año. Se hicieron numerosas modificaciones menores en el edificio para acomodar este crecimiento, y la colección en la década de 1980 contaba con aproximadamente 130.000 volúmenes.

A lo largo de los años, la biblioteca ha prestado servicio a varias comunidades en diversos lugares. La biblioteca mantuvo una sucursal en la parte alta de Main Street hasta que las limitaciones presupuestarias la obligaron a cerrar en los años 70, y en 1985 se abrió una sucursal en el complejo Maplewood que funcionó hasta 2004. La Biblioteca de la Ciudad sirvió a los ciudadanos de las ciudades de Poughkeepsie y Lagrange hasta que Lagrange formó su propia Biblioteca de la Asociación en 1983, y se hizo cargo de la sucursal.