Библиотеки, это - реки, где хранятся останки великих святых. (Бэкон)
У 1861 році в Харкові з ініціативи прогресивної медичної інтелігенції, зокрема професорів Харківського університету Вільгельма Федоровича Грубе, Владислава Андрійовича Франківського, Семена Григоровича Риндовська було засновано Харківське медичне товариство (ХМТ) і при ньому створена медична бібліотека. У 1913 році бібліотека розташувалася в будівлі медичного товариства на вул. Пушкінській, 14, яке було побудовано архітектором А. Н. Бекетовим на кошти громади. Для бібліотеки А. І. Бекетовим було передбачено приміщення з книгосховищем, читальним залом, дотепер в цьому сховищі знаходиться частина книжкового фонду Харківської наукової медичної бібліотеки.
Надалі активну участь у формуванні бібліотечного фонду взяли відомі харківські лікарі: В.А.Франковскій, І. К. Зарубін, Д.Ф. Лямбль, Л.Л.Гіршман, В.Н. Шамов, В.Я Данилевський, М.І. Светухін, відомі професори М.Б. Фабрикант, Коган-Ясний, С. Г. Генес і багато інших.
Бібліотека росла, в 1929 році, коли столиця України перебувала в Харкові, бібліотека була перетворена в Українську державну медичну бібліотеку, в 1930 році вперше в країні в ній був організований відділ міжбібліотечного та заочного абонемента. З 1940-го року бібліотека працювала вже в окремій будівлі на вул. Сумській, 4, в будинку відомих харківських медиків: академіка Олександра Гейманович і професора Захара Гейманович. Під час Великої Вітчизняної війни окупанти вивозили до Німеччини дисертації і наукову літературу з фонду бібліотеки. Співробітники бібліотеки, ризикуючи життям, ховали цінні видання в підвалах, збирали по місту бібліотеки медичних науково-дослідних інститутів, особисті бібліотеки харківських професорів. Після війни група співробітників бібліотеки була нагороджена медаллю «За доблесну працю у Великій Вітчизняній війні 1941-1945 років».
Цитата з замітки «Благородна справа» в газеті Нарком здрава СРСР "Медичний працівник" від 21 жовтня 1943 року: "Багатьох професорів, науковців, лікарів, які повертаються в звільнений від німців рідного Харкова, чекає радісна звістка: збережені їх особисті медичні бібліотеки - сотні і тисячі цінних посібників, незамінних посібників, довідників, монографій. цілі бібліотеки харківських професорів Фабриканта і Аркавіна, дві тисячі п'ятсот томів проф. Коган-Ясного, одна тисяча книг проф. Генеса, стільки ж Протопопова і Юдіна, близько п'яти тисяч томів професора Попова та інших. Це результат праць декількох співробітників Української медичної бібліотеки – Г. І. Ковалевської, Л. Ф. Вашури, Е. Ф. Ковтуненко, Е. М. Зеленіної (дочки професора Зеленіна) на чолі з директором М. К. Федоровой. Напівголодні, щогодини ризикують бути схопленим німецькими головорізами, жінки потайки обходили спорожнілі будинки і збирали залишилися в них медичні книги. жінки-патріотки зберегли 320 тисяч цінних медичних книжок ".
У 1948 році бібліотека реорганізована в Харківську державну наукову медичну бібліотеку, в даний час її назва – Комунальний заклад охорони здоров'я Харківська наукова медична бібліотека.
У 1985 році відділи бібліотеки, каталоги, читальні зали були переміщені з вул. Сумській, 4 на площу Поезії, 5. Потім книгосховище бібліотеки було перевезено за межі Харкова в селище Васищеве. На замовлення користувачів література доставляється зі сховища на бібліотечному автомобілі. Обслуговування користувачів здійснюється на пл. Поезії, 5 в 3-х поверховому будинку відомого харківського хірурга, доктора медицини, професора – Фабриканта Мойсея Борисовича (1863-1951), побудованому їм в 1900 році за проектом польського архітектора Здіслава Харманского, як приватна хірургічна лікарня, що відповідає всім нормам і вимогам споруди медичного закладу того часу.
Після революції 1917 року М. Б.Фабріканту довелося самому відмовитися від свого будинку, отримавши при цьому право проживання в кількох його кімнатах на 3 поверсі, в одній з яких він помер в грудні 1951 року в віці 87 років. В його будинку розташовувалася 25-я радянська лікарня, в якій він працював консультантом. Потім в будинку знаходилася кафедра протезної стоматології Харківського стоматологічного інституту, після переїзду інституту в Полтаву, в будинку стала працювати кафедра паразитології Харківського інституту удосконалення лікарів і клініка 27-й лікарні. У будинку М. Б. Фабриканта, а нині в науковій медичній бібліотеці дбайливо зберігаються праці професора М.Б.Фабріканта, його дисертація, є роботи з його дарчими написами Б. Г. Шарецький - колезі, доктору медицини, професорові, згодом став видатним польським військовим хірургом, главою Департаменту служби охорони здоров'я Міністерства національної оборони Республіки Польща.
М. Б. Фабрикант відомий як блискучий хірург, великий вчений зі світовим ім'ям, заслужений діяч науки, доктор медицини, професор, один з основоположників вітчизняної стоматології, талановитий педагог, член і подвижник Харківського медичного товариства, учасник 5 воєн, знавець кількох мов, цінитель мистецтва, інтелігент європейської школи.
В даний час Харківська наукова медична бібліотека - найстаріша і найбільша з усіх медичних бібліотек колишнього Союзу РСР, за радянських часів була занесена в Реєстр бібліотек з унікальним мільйонним книжковим фондом. В її фонді - унікальні вітчизняні та зарубіжні видання: література XVIII-XX століть, колекція земської медичної літератури, прижиттєві видання наукових праць корифеїв, основоположників медицини, перші повні комплекти медичних журналів, книги з дарчими написами, видання з охорони здоров'я перших років Радянської влади, праці відомих вчених-медиків радянського часу, краєзнавча література з історії харківської медицини.
У 2012 році в бібліотеці проведена реорганізація, істотне скорочення штату бібліотечних працівників. Володіючи найбагатшим довідково-інформаційним фондом медичних книг і журналів, здійснюючи довідково-бібліографічний, інформаційне обслуговування користувачів, будучи методичним центром для мережі медичних бібліотек міста та області, ХНМБ займає своє гідне місце в забезпеченні наукової медичної інформацією науковців, практичних лікарів, студентів міста Харкова , Харківської області, всієї України.