叶燮在平湖料理完父亲的丧事后，离开平湖，孤身一人来到太湖，隐居横山。 横山，在苏州城西南约十五里(古时计量，据《木渎志》)的地方，因四面皆横而得名。横山又名踞湖山，也叫七子山。据《横山志》，横山方广四十余里，苏州城外的茶磨、吴山、宝华、紫石、民山等山都在横山范围之内，横山是其总称，有横山山脉的说法，其南面临石湖，宋代诗人范成大隐居石湖，有范石湖之称。 叶燮在三年的流亡生活中，曾经一度在太湖周边的山中、寺庵居住，对横山的地理环境有相当的了解。横山树木葱笼，地域广大，人烟稀少、人迹罕至，是个适宜于隐居的处所，历史上的一些名人就曾隐居于些，如朱桓、陆云、顾野王等。当时，山中就有一名据说姓陶的隐者隐居于此，此人从不与人交往，叶燮隐居于横山之后，二人也从来没有见过面，叶燮曾数次去寻访那人也避而不见，因此，选择在横山隐居，可以避开尘世的纷纷扰扰，尤其在清初，存有复明之想的叶燮，自然把横山看作是一个理想的隐居之处。 古人在选择隐居场所时，往往存有忠、孝两全的想法，不少人在先人的坟前结庐而居，同时为先人守坟，尽后辈一点孝道。 叶燮选择横山，也不无这样的考虑。

　　迁分湖之前，叶家的祖坟葬在吴县西山，迁分湖之后，叶家的祖坟就葬在北厍大珠圩。尚佛的叶绍袁觉得风水不好，多方选择理想的墓穴。1641年、叶绍袁入太湖，在踞湖山百福字圩看中了一块地，买了下来，准备安葬先人的坟墓，其后，叶绍袁多次到踞湖山，规划坟地，到1643年农历十二月，叶燮随父亲等人到踞湖山百福字圩，将祖父祖母的坟安葬好，并迁入其它先人的坟。在出家流亡离开太湖往浙江前，叶燮还曾到祖先的坟上扫墓。 在横山隐居，既可以为先人守坟尽自己的孝心，又能躲避清廷的追捕，且有一个安静的环境读书，此举是一石三鸟，横山，自然成为叶燮隐居的首选之地。 况且，当时叶燮的长兄世佺、四兄世侗、七弟世倕都在横山附近的邓尉、支硎等地避难、就医，也需要叶燮的照料，出于多种因素的考虑，叶燮在横山隐居下来。 隐居于横山的叶燮，在横山一住二十多年，除了出门游历坐馆之外，几乎闭门不出，把全部心思都放在读书上，博览古今典籍，参悟学理与佛理。