从那时起，张全义就扎根洛阳，治理洛阳，后来跟与李罕之反目，投奔了宣武节度使朱全忠，任佑国军节度使，仍任河南尹。
唐昭宗迁都洛阳后，他为朱全忠所猜忌，曾短暂调任天平军节度使，李柷继位后，他又被调回，继续当河南尹，所以也算是在洛阳的这片土地上经营不停。
从黄巢攻占洛阳开始，再到孙儒和诸葛爽争据洛阳，洛阳城一直处于迭相攻伐之中，仅是七八年的光景，原本恢宏的城池就化为了灰烬，满目荆榛。
张全义跟过诸葛爽，打过孙儒，亲眼看着洛阳城变成一座白骨蔽地，荆棘弥望，居民不满百户的荒城，这种摧毁令他心痛不已。
他刚接管洛阳的时候，手里的人并不多，也就百十号人，当时的洛阳城分裂为三小州，各自治理，相互攻伐，四处荒芜。
张全义先是带人在一座名为中州的小城里自保，随后逐步扩大势力，等到自身实力强大后，开始着手治理修缮洛阳城。
洛阳城的重建大体以洛水为界，分为南北两部分，以南市和北市为核心，又称南北两城。
中州是张全义筑垒自固之处，在南市，是洛阳城最早修复的地区，所以张全义的府邸就在南市，河南府廨、河南县廨以及张氏祠堂也都在这里，把南城说是张全义的势力聚集地一点都不为过，再往大里讲，整个洛阳城也都在张全义的掌控之内，这就是朱全忠对他有所忌惮的主要原因。
说起来，张全义修复的洛阳只是唐盛时的一小部分，宫城集中在洛水北，中轴线以西、以贞观殿为正殿的西路部分，坊市则集中在南市附近，城内其他地区并没有恢复，都被开辟为农田，虽是如此，也让张全义耗费了半生心血。
“父亲，天色不早，您怎么还未歇息”
张继业返家后，得知父亲在后花园，赶忙去见，来到父亲身旁时，他将一件锦绒单衣给父亲披在身上：“虽说快要入夏，但夜风还是带着凉气，您别这里站久了，免得寒气入腿。”
儿子的到来打断了张全义的神思，他朝宫城方向望了一眼，问道：