他曾有一个不切实际的空想，假使苏辙也愿意住到黄州来，他将设法筹点钱，把柯氏园买下来兄弟共居，这个构想虽然美好，但不是现在的能力所做得到的。家眷来了，他不得不弄个住处，遂于二十九日搬进临皋亭去住。
临皋亭在回车院中。回车院是公家建筑，为三司按临黄州时所居的官邸，本来不是一个被谴谪的罪官可以住得的。据苏轼于迁住临皋亭后与鄂守朱寿昌书：
已迁居江上临皋亭，酌江水饮之，皆公恩庇之余波。
似是寿昌向有关方面代他关说，才弄到手的。但这房屋并不宽大，他又家口众多，住得非常拥挤。如同年夏，陈慥要到黄州来看他，他就曾为招待客人住宿，大伤脑筋，写信告陈说：“临皋虽有一室可憩从者，但西日可畏。承天（寺）极相近，或门前一大舸亦可居，到后相度。”要借僧舍，甚至是门前停泊的旧船来接待宾客，苏家房屋的迫促，实已到了捉襟见肘的地步。
临皋亭住屋虽然狭小，但是门外的风景却非常美。亭在江边水驿上，亭下八十余步便是大江，滔滔江水，自上游乱流西下，浪击江岸，涛声昼夜不绝。对岸就是樊口，景色幽美如画，苏轼闲常策杖江边，独自一人眺望天空渺渺的流云和江上起伏的浪涛，不能不使他感到天地何等寥廓，而人却这样的渺小与无助。
苏轼《与范子丰书》说：
临皋亭下，八十余步，便是大江，其半是峨嵋雪水，吾饮食沐浴皆取焉，何必归乡哉。江山风月，本无常主，闲者便是主人。问子丰新第园池，与此孰胜？所以不如君者，上无两税及助役钱耳。
粗看他对于这种闲散的隐居生活，似已非常满足，其实那只是生活之艺术精神的一面。作为一个儒学者，淑世是其生命的本分，“虽云走仁义，未免违寒饿”，他可以毫不怨悔。但是“丈夫重出处，不退要当前”，满怀用世的热情又怎能轻易放下？所以当他的好友李常寄诗来慰问他的不幸时，他却大不以为然，复书直道儒者的责任时，又另是一副铁石心肠。如言：
示及新诗，皆有远别惘然之意，虽兄之爱我厚，然仆本以铁石心肠待公，何乃尔耶？吾侪虽老且穷，而道理贯心肝，忠义填骨髓，直须谈笑于死生之际，若见仆困穷，便相于邑，则与不学道者，大不相