苏辙在高安的生活，远不如苏轼在黄州那样闲适。这盐酒税的差事，原来有三个人在做，苏辙来后，另外两个人适皆罢去，从此不再补人，一切琐事都压在苏辙一个人肩上了。早晚上下班，中间隔着一条江水，都须坐船摆渡，自作诗说：“朝来榷酒江南市，日暮归为江北人。”已够奔波劳苦了，何况他还必须整天坐在市场中，鬻盐、沽酒、秤量猪肉和鱼鲜，与那些市侩贩夫争论斤两，计较锱铢，一点休息时间都没有。直要等到天黑了，才能收拾税场，关门渡江回家。回到家里后，他已筋疲力尽，昏然就睡。等他一觉醒来，天也亮了，他又得再赶到江南去做同样的琐事。所以虽然造了这间东轩，并没有时间来享受，自言：“每旦暮出入其傍，顾之，未尝不哑然自笑也。” 8
这次苏轼远来，才真派上了用场。
这是苏氏兄弟黄州别后第一次重逢，而且是与他全家人的合聚，他们可以一起自由自在地讲眉山家乡土话，做家乡点心“水饼”来吃，毫无拘束地说笑话。
苏轼最关心的是他的三个侄子，他上次见到他们还是十多年前，时在济南，老三虎儿（苏远）出生还不久。现在老大阿梁（苏迟）年已弱冠，和老二阿罗（苏适）都已长大得能够高谈阔论了，连这最小的幺儿也已十一岁，开笔学习作诗了。他很高兴几个侄子都已长那么大，给他们写“别诗”，自问中夹着甚深的感慨（《别子由三首兼别迟》）：
两翁归隐非难事，惟要传家好儿子。
忆昔汝翁如汝长，笔头一落三千字。
世人闻此皆大笑，慎勿生儿两翁似。
不知樗栎荐明堂，何似盐车压千里。
苏辙的公事，无人替代，甚至端午节那天，他仍然要去鬻盐沽酒，所以，苏轼只得带了三个侄子去玩了一趟大愚山的真如寺（这大愚山就是五戒和尚圆寂的地方）。
在高安，只能住六七天