《孔雀竹石图》康熙十七年他五十三岁时，临川县令胡亦堂闻其名，便延请他随其僧长饶宇朴等到临川官舍作客年余。这使他十分苦恼郁愤，遂佯为疯癫，撕裂僧服，独自走回南昌。一年多后，他又回到青云谱，并在这里度过“花甲华诞”。当他六十二岁时，不再做住持，便把道院交给他的道徒涂若愚主持。

后又隐避在南昌附近的北兰寺、开元观等处。并常卖画度日。后来自筑陋室，名“寤歌草堂”，孤寂贫寒地度过了晚年。叶丹居章江有《过八大山人》一诗云：“一室寤歌处，萧萧满席尘蓬蒿藏户暗，诗画入禅真。遗世逃名老，残山剩水身。青门旧业在，零落种瓜人。”

八大山人书法善用淡墨秃笔，犹尽流畅，含蓄内敛，圆浑醇厚。他精研石鼓文，刻意临写汉、魏、晋、唐以来的诸家法帖，尤以王羲之的为多。其诗文多幽涩古雅。