Jest to budowla o nieustalonej do końca historii. Wiadomo że w XVII wieku był siedzibą Jana Stanisława Tarły i należy do najstarszych budowli obronnych w Górach Świętokrzyskich. Niewykluczone, że dwór, nazywany przez miejscową ludność „Kamienicą”, pełnił rolę zboru ariańskiego. Budynek powstał prawdopodobnie około 1540 roku jako wieża rycerska. Okoliczne dobra były wtedy własnością Jakuba Sancygniowskiego. Od 1619 roku należały do rodziny Tarłów- zakupił je wojewoda lubelski Piotr Aleksander. Tarłowie posiadali Chełmce aż do 1898 roku, ale dwór (kamienica) przestał być ich rezydencją zapewne już po 1652 roku, kiedy to wznieśli okazały pałac w pobliskim Piekoszowie (dziś Podzamcze Piekoszowskie); budynek stał się wtedy rodzinnym dworem myśliwskim. W związku z udziałem właściciela w powstaniu listopadowym i styczniowym – w XIX wieku dwukrotnie był konfiskowany, a w 1864 spalony przez Rosjan. Był potem odbudowany i przebudowany. Dwór otoczony był kiedyś parkiem ciągnącym się w kierunku wschodnim, a po północnej stronie znajdował się staw z drewnianym dworkiem. Dalej na północ znajdowało się podwórze z folwarkiem, otoczone zabudową gospodarczą. Pod koniec XIX wieku majątek rozparcelowano. W 1915 roku obiekt, za namową H. Sienkiewicza, kupił miejscowy proboszcz, z zamiarem umieszczenia tu szkoły. W 1928 roku został uznany za niezdatny do mieszkania i przeznaczony na cele gospodarcze. W 1956 roku spłonęły drewniane werandy i klatka schodowa wraz z dachem głównym. Dwór niszczał; planowana była rozbiórka… W 1991 roku obiekt zakupiła od władz lokalnych rodzina architektów Borsów, która częściowo odnowiła obiekt przystosowując go do funkcji mieszkalnej; w 2014 roku ponownie zmienił on właściciela.
