起初，他是白天睡觉，到了晚上，才一个人悄悄跑到寺外去散散步，有时也买杯淡而无味的村酿来润润喉咙。他竭力不使自己喝醉，只怕醉后乱说话。看似平静的生活，心里隐藏着恐怖的创伤，还在那里隐隐作痛。
“先生食饱无一事”，总不能整天整夜都睡在床上，就不免常到城中随处闲逛，但他的出入，不过如《与王定国书》所说：
某寓一僧舍，随僧蔬食，感恩念咎之外，灰心杜口，不曾看谒人。所云出入，盖往村寺沐浴及寻溪傍谷，钓鱼采药以自娱耳。
沐浴是苏轼日常生活中的癖好之一，此来黄州，常去城南安国寺洗澡，他在《安国寺浴》中别有感触：“尘垢能几何，翛然脱羁梏。披衣坐小阁，散发临修竹。心困万缘空，身安一床足。岂惟忘净秽，兼以洗荣辱。默归毋多谈，此理观要熟。”甚至像这样淡泊的感慨也不敢“多谈”，苏轼当时的精神生活，还一直在被禁制的状况中，是可以想象得到的。
除此以外，他只得毫无目的地到处闲逛，不问是私家花园或是寺庙，他都“拄杖敲门”，要求进去看看。其中有两座私家园林，他最欣赏：一是尚氏园，园中竹林花木，修治得最好，藂枳花尤其出色，苏轼曾亲为此花图写；一为柯姓林园，倚山辟园，山上有一片老枳树林，开白花，香味清淡，颜色绝俗，常常使他徘徊树下，为之忘情。
更有一天，他漫步走到定惠院东的土山边，在某家杂花满开的篱落间，忽然发现花丛中竟有一株海棠，在春风中嫣然含笑，使他非常诧异。苏轼当年，海棠是西蜀濯锦江独有的名卉，成都燕王宫碧鸡坊的海棠尤为繁盛，范石湖词所谓“碧鸡坊里花如屋，只为海棠，也合来西蜀”，别地向无此花，像黄州这样偏僻的地方，土人又不知此花的名贵，怎么会有呢？这样想看，不知不觉就从海棠花的溷落黄州，移情到自己的身世上来了。他好像做梦一样，以为一定是天上的鸿鹄把海棠花的种子从西蜀衔到了黄州，遂使这空谷佳人，落入江城瘴地里，自苦幽独了。不轻易伤感的苏轼，“忽逢绝艳照衰朽，叹息无言揩病目”。海棠的艳影，一一化作自己的身形