过了不久，张释之升任中郎将，跟随文帝和慎夫人到了霸陵。汉文帝登临霸陵，向北眺望，指着通往新丰的道路对慎夫人说：“这就是通往邯郸的道路啊。”接着，汉文帝让慎夫人弹瑟，自己合着瑟的曲调而唱，心里很凄惨悲伤，回过头来对群臣说：“用北山的石头做椁，缝隙用切碎的苎麻丝絮堵住，再用漆粘涂在上面，难道还能打开吗？”群臣认为这个办法很好，都随声附和。张释之向前进言说：“如果里面有能引起人们贪欲的东西，即使封铸南山做棺椁，也会有缝隙；如果里面没有引发人们贪欲的东西，即使没有石椁，又哪里用得着忧虑呢！”文帝称赞张释之的说法，后来任命他做了廷尉。
汉文帝外出行至中渭桥，突然有一个人从桥下跑出来，惊了文帝御驾的马，文帝险些被摔下，十分恼火，就命人拘捕了此人，交给廷尉查办。张释之审讯后，依法判定为“冒犯车驾，罚金四两”，上奏朝廷。汉文帝很生气，认为判决过轻，张释之就解释说：“法律是天子和百姓应该共同遵守的，不应偏私。法有定规，如果加重处罚，如何取信于民。廷尉是天下公正执法的带头人，如果廷尉不公正，地方也会不公，百姓就会慌恐不安!”汉文帝思考了很久才说：“廷尉的量刑判决是对的”。
有人偷窃了汉高祖庙里的玉环，被卫士抓获，汉文帝十分恼怒，责令廷尉张释之严惩盗犯。张释之依照相关法律，奏请文帝判处弃市，汉文帝大怒，认为应当诛其九族。张释之据法以争，说：“依照法律，弃市已是最高处罚了。盗窃宗庙器物就诛灭全族，如果以后有人偷挖长陵上的一抔土，又该如何处罚？”汉文帝和薄太后商议良久，批准了张释之的判决。中尉条侯周亚夫和梁相山都侯王恬开看到张释之议论公正，甚为赞叹，就同他结为亲密朋友，张释之由此受到天下人的称颂。
汉文帝去世后，汉景帝即位，张释之早年弹劾过时为太子的景帝，因而内心极为惶恐，想要称病隐退，又担心招致更大的惩罚，想当面向景帝谢罪，又不知道该怎么办。后来，采用了王生的计策，终于见到汉景帝当面谢罪，汉景帝贬他为淮南王的国相，过了很久，张释之过世。