Pilies statyba prasidėjo 1869 metais. Karalius panoro turėti nuosavą Versalį, tik dar prabangesnį. Galbūt taip ir būtų buvę, tačiau po septynerių statybos metų pinigai baigėsi ir darbai sustojo, o pilis taip ir liko neužbaigta.
Liudvigas buvo didelis keistuolis. Per dieną jis sugebėdavo duoti šimtus nurodymų, kurie dažniausiai prieštaraudavo vienas kitam, todėl dažniausiai jų niekas nė nesistengdavo vykdyti. Dar kada Liudvigas buvo jaunas, kancleris Bismarkas viešai pareiškė, kad karalius esąs normalaus proto, bet jau tada visiems krisdavo į akis keistas valdovo elgesys ir aplamai pats gyvenimo būdas. Monarchas, pavyzdžiui, kartais ištisas dienas miegodavo, o kartais pietų kviesdavosi ... Liudviko IV dvasią. Gyvenimo pabaigoje jau beveik niekas neabejojo, kad valdovas tikrai beprotis, todėl ir jo svajonių pilis imta vadinti "Bepročio karaliaus pilimi".
Liudvigo II gyvenimas baigėsi liūdnai. 1886 m. birželio 9 dieną į Hohenswangau atvyko valstybinė komisija, kurios tikslas buvo paskelbti karalių neveiksniu. Po trijų dienų valdovas iš Neushwansteino pilies išvyko į savo paskutinę kelionę i Bergo pilį ir birželio 13d. žuvo Shtarnbergsee ežere iki šiol neišaiškintomis aplinkybėmis.

Liudvikui valdant baigta statyti buvo tik pati pilis, vidinė apdaila buvo atliekama ir po karaliaus mirties.
Ir šiuo metu dar yra neužbaigtų, turistams paprastai nerodomų, pilies vietų.