相传唐咸通年间，有为名叫慧锷的日本和尚来到中国，游历了许多名山大川，朝拜了许多古刹，和五台山的方丈成了莫逆之交。
有一天，慧锷在大殿后院，见到有尊檀香木雕成的观音佛像。那佛像神态安详，鬓发眉毛均极细腻，栩栩如生。慧锷站在观音佛像前，看了又看，赞了又赞，连方丈来叫他吃饭都没听见。方丈见状，便问道:“法师认为这尊观音佛像雕得如何?”慧锷连连称赞道:“好，好!我这么大岁数了，还是第一次见道哩!这佛像刻功细巧，把观音大士的神态都雕了出来。真是一尊活的大慈大悲的观音菩萨啊!”方丈见他喜爱，便笑眯眯地说道:“如若法师欢喜，就送你供奉吧!”慧锷听了，慌忙合十顶礼。他接过观音佛像，喜不自胜，打算回日本去建寺供养，让日本众生都来朝拜。
离开五台山，又游九华山，最后从五台山下来，从灵江口扬帆回国。
这天，慧锷遂尊请檀香木雕成的观音佛像过洋赴日本。可船到普陀山洋面，突然刮起了大风，刮得船东倒西歪，直打转转。慧锷没法，只好把船驶进普陀山的一个山岙里，抛锚落帆，等大风平息后再走。
次日，惠锷扬帆启航，可是船刚驶出山岙，洋面上突然升起了一团灰白色的烟雾，不断阻碍船行。惠锷只好再次回到了普陀山的洋面上，把船驶进山岙里，抛锚落帆，等烟雾消散了再走。
三日，晴空万里，光芒四射，霞光万道，惠锷走进船舱，抬头一看，但见彩云中间，有幢巍峨绚丽的彩色牌楼，仙女往还，珠光宝色，耀人眼目。惠锷遂起船东进，可没驶多远，帆船突然停滞不前。他低头一看，只见海上飘来一朵朵铁莲花，帆船被团团围在中间。惠锷大惊，乃跪于观音佛像面前祈告说:“如若日本众生无缘见佛，我定遵照大士所指方向，另建寺院，供养我佛。”
话音未落，忽听得“轰隆”一声，从海底钻出一头铁牛。铁牛边往前游，边吞嚼铁莲。须臾间洋面上就出现了一条航道，正好能够通过一条帆船。帆船随铁牛后面，沿此航道前进。不久，又听“轰隆”一声响，铁牛沉入海底，铁莲也不见踪影。帆船又回到了普陀山的一个山岙里。
惠锷心想，既然观音菩萨不愿去日本，就在这里造座寺院，让观音菩萨定居在普陀山吧!没多久庵堂造好，佛像供就，惠锷等人朝暮参拜。从此，这尊檀香木雕成的观音佛像就留在普陀山上。那座小庵堂，就尊为不肯去观音院。修行学佛者到这里都会去朝拜。