在窦建德攻打景城时，张玄素作为城中坚决抵抗的将领之一，这无疑成为了窦建德眼中一个潜在的威胁。窦建德本欲秉持着斩草除根，下令将张玄素斩杀，以绝后患。
然而，临刑前，在千钧一发的生死关头，城中却突然出现了令人震撼的一幕。城中百姓听闻了这个消息，如同被一种无形的力量召唤，从四面八方、大街小巷纷纷涌来。他们如同潮水一般，聚集在刑场前，跪拜在地，号啕大哭，哭声此起彼伏，仿佛要冲破云霄，震碎苍穹。
百姓们怀着满腔的悲痛与对清正之士的由衷崇敬，纷纷诉说着张玄素平日的种种善举。他们声泪俱下地对窦建德哭诉道：“张玄素户曹为官清正廉洁，犹如澄澈的湖水，毫无杂质；他为人谨小慎微，行事公正，从不偏袒任何一方。其品德风范堪称楷模，实乃我们所敬仰的贤德之人。大王您乃一代雄主，若是不辨是非地杀害了他，日后这世间又有何榜样与准则去激励人们行善积德呢！如今这乱世之中，百姓生活困苦，我们需要这样的清正之人来引导我们、安抚我们啊！”
窦建德见此情景，心中不禁被深深触动。他望着那跪拜在地的千余百姓，眼中闪过一丝凝重。他考虑到目前的局势不仅仅关乎张玄素一人的生死，更关乎着自己势力的根基与未来。窦建德本就有着雄韬大略和非凡的识人用人之明，深知“得民心者得天下”这一颠扑不破的道理。
此时又有人说道：“张玄素清慎若是，今倘杀之，乃无天也。”
窦建德听后，最终改变了主意，下令立即释放张玄素，不仅如此，窦建德通过此事，也非常敬重张玄素的高尚品德。于是，他当场任命张玄素为治书侍御史。
然而，张玄素生性高洁，他坚守着自己的高尚气节，认为自己身为隋朝官吏，坚决推辞不受。他目光坚定地看着窦建德，言语掷地有声地说道：“吾身为正义之士，岂能与敌对统治同流合污，愿大王另寻贤能，玄素断难从命。”
此时，因江都兵变