Градските спомени и легенди гласят, че преди години гърка Чорбаджи Янчо пред всички жители на Гоце Делчев обявил, че ще строи огромен конак. Тази сграда щяла да бъде банка, където хората да влагат парите си срещу висока лихва. За построяването на банката са били ангажирани всички тогавашни майстори и занаятчии в града. Началото на строежа се смята около 70-те години на 19 век
Банката била завършена през 1877 година и хората бързали да вложат парите си срещи обещанията за висока възвращаемост. Ала един ден Чорбаджи Янчо обявил, че банката е фалирала и спестяванията на хората са изчезнали.
В края на 19 век, къщата се купува от заможен търговец на тютюн – Прокоп Прокопов, който допринася за нейния облик. Къщата е триетажна и съдържа доста красиви дърворезби и геометрични орнаменти. След освобождаването на Неврокоп през 1912, собственикът се мести заедно с бизнеса си в Драма и подарява имота на местната община.
До този момент къщата е била известна като Янчовия конак или къщата на Прокоп Прокопов.
От 1912 година, сградата е превърната в околийско полицейско управление и се използва от милиционерите до 1979 година. Тогава е взето решение къщата да се превърне в музей и е пригодена за такъв с 12 експозиционни зали и лапидариум.
Археологични експонати
Етнографски експонати