亲友不与他通问，是因为他的罪名太大，怕惹是非。即使他自己，亦何尝不怕“文字为累”。如此信之尾，他还再三叮嘱端叔：“自得罪后，不敢作文字。此书虽非文，然信笔书意，不觉累幅，亦不须示人，必喻此意。”
不敢作文字，也是一种“孤立”的刑罚。如当时曾有某人请他写篇燕子楼记，徐州为苏轼旧游之地，燕子楼又是那么凄艳的名迹，若在平时，苏轼如何能不援笔而起？现在毕竟无可奈何，只得很诚恳地辞了他的朋友，向他诉苦道：只要出口落笔，便被憎恶他的人们，拿来做“笺注”的依据，所以不能不“牢闭口，莫把笔”了。充分显示了在这种张眼便是荆天棘地的处境里，一个被迫害者的战栗与惶恐。
苏轼庆幸自己能够混迹渔樵，不被别人认识，每于酒后，则独自一人，布衣芒屩，出入阡陌，到各处漫游，正如他自己所说的得“旷然天真”之乐（《答言上人》）。有时，他会在袖筒里笼着许多石弹子，到江边与人比赛投击江水，看谁能使石弹滑出水面最远。 8 有时在路边凉亭里歇脚，也会要求别人讲个鬼故事听听，假使那人说，没有鬼故事可讲，苏轼就求他：“姑妄言之也好。”旁人听他此言，无不哄然大笑。 9
距黄州知州官邸数百步，少西山麓有一片壁立的断崖，传说是周瑜大破曹军的古战场————赤壁，断石堆云，惊涛裂岸，风景最是优胜。是年八月六日夜间，天朗气清，他兴致特别好，便带了苏迈，划只小船，第一次夜游赤壁，其时适有杭州的辩才、参寥两位僧人所派的使者来黄州向他问候。游罢归来，他即乘兴写了一篇非常美的短记，当作复书，寄与参寥：
予谪居黄州，辩才、参寥遣人致问。时去中秋不十日，秋潦方涨，水面千里，月出房、心间，风露浩然。所居去江无十步，独与儿子迈棹小舟至赤壁，西望武昌山谷，乔木苍然，云涛际天，因录以寄参寥。使以示辩才，有便至高邮，亦可录以寄太虚（秦观）也。
自此，每遇风日晴和、江面浪静的日子，他就常常独自划船到那儿去捡沙滩的细石子。这地方的细石，往往温莹如玉，有深浅红