此后五十年，子墨在挂衣峰下建了座“织云书院”，每日巳时都会登上峰顶，对着悬衣岩诉说心事。岩面上常浮现出当年场景：素衣为他织造云纱时，指尖银辉落入砚台，化作会流动的云纹；在镜溪画雾时，裙摆流苏扫出的涟漪化作护田的云墙；恶作剧时，酒窝里的云气落在他的宣纸上，竟成了能避雨的墨宝。
北宋政和年间，方腊起义军途经灵山，欲砍伐峰下的松林作云梯。先锋部队刚靠近挂衣峰，忽见峰巅的云气化作千军万马，为首女将身着素白甲胄，手持织云梭幻化的银枪，枪尖所指之处，松木竟自动弯成拱桥，让士兵无法靠近。贼首的利斧刚要砍下，斧柄忽然缠满云纱，落地时竟成了柔软的绸带，全军惊恐，以为冒犯了云神，遂焚香而退。
元代以后，挂衣峰成了天下有情人的祈愿地。每逢七夕，情侣们带着自制的云纹衣饰登上峰顶，将两人的名字绣在云帛上，挂在悬衣岩前。传说若云帛被晨雾浸透却不坠，则能得到素衣仙子的祝福。才女管道昇曾题诗：“一梭织就万年愁，云衣化峰护九州。青鸾不渡银河水，只向灵山结素俦。”她在镜溪畔抚琴时，云气竟聚成素衣虚影，与她共舞，袖中飘落的云纱化作油桐花，铺满溪面。
七、云鬟雾鬓：千年织就护山图
明代万历年间，信州知府钱德洪在峰巅发现残缺仙文，乃素衣化峰前刻下的《护云咒》：“云为肌骨，雾为裳，灵山有女护耕桑。织就千重云衣障，不教人间受雨霜。”他依咒文在峰腰修建“织云亭”，亭中石桌刻着云纹棋盘，对弈者若心怀赤诚，棋子便化作真云雀，围绕挂衣峰飞翔三日。曾有对老夫妇在此对弈，黑子化作乌云遮日，白子化作白云挡雨，竟让山下的稻田喜获丰收。
最神奇的当属“挂衣朝雾”奇观。每日卯时三刻，悬衣岩会自动收集晨露，与岩中的云气混合，形成半透明的云衣虚影。虚影先是抬手整理鬓边云丝，继而转身露出衣袂上的灵山地形图，每道衣褶都对应着一处村落或梯田，最后对镜一笑，晨光穿透雾岚，在峰壁投下七彩衣纹，如仙子在展示新织的护山云衣。山民们说，这是素衣在向子墨汇报人间疾苦，千年来从未间断。
清康熙年间，词人纳兰性德游灵山，遇卖云纹手帕的老妪。竹篮里的素帕绣着银线，