灵祐禅师在百丈怀海禅师座下开悟后，在寺院里担任典座（即负责寺院伙食）。
一天，司马头陀来到百丈山，告诉百丈禅师：我在湖南找到了一座风水极好的山，名叫大沩，那是一个手下有一千五百名高徒的大善知识居住的地方。
百丈禅师问道：老僧住得否？司马头陀说：非大和尚所居。大和尚是骨人，那座山是肉山，假如您住在那里，徒众不会超过一千人。百丈禅师便问：我的弟子中有谁可以住得了此山？司马头陀说：待我一一观察。
司马头陀观察过寺院首座等人，都不认可。灵祐禅师进来，司马头陀一见就说：此人正是沩山主人！
于是灵祐禅师便前往沩山开辟道场。
大沩山林密险峻，野兽出没，人迹罕至。灵祐禅师自来此山后，终日与猿猴为伍，全靠采集野果充饥，生活极为艰苦。这样过了六七年，竟没有一个人上山来。灵祐禅师思忖：我住持此山的本意是想利益众生，像这样与世隔绝，独善其身又有何用呢？因此想放弃此山，另寻他处。
当他下山走到山口，只见路上蛇虎交错，豺狼成群，挡住了下山的去路。灵祐禅师道：你们不用拦我的路，如果我与此山有缘，你们各自散去，如果无缘，任由你们吃了吧。话音刚落，虎狼便四散而去，于是灵祐禅师又回到了山上。
没过多久，懒安和尚从百丈山带着几位僧人前来辅佐，对灵祐禅师说：我前来给和尚当典座，等住山僧达到五百人时，不管如何，请你放我下山。灵祐禅师答应了。
从此，山下的居民渐渐知道山里住有和尚，于是相率共造梵宇。当时的宰相裴休与灵祐禅师关系甚为密切，也给予了灵祐禅师极大的支持和保护，尤其是会昌法难之后，大沩山很快成为风动天下的大丛林。灵祐禅师驻此传法长达四十多年，接众无数，后被奉为禅门沩仰宗主。