他在青年时代曾经举孝廉和连辟公府，都没有应征。作过南阳主簿。后来公车特征，作中郎。又做过尚书郎、太史令、侍中、河间相一类的官。
作太史令最久，前后十余年，他在科学研究上作出的贡献主要当在这个时候。他发明和制作了浑天仪、候风地动仪，还写有《灵宪》等科学着作。张衡是一个勤敏朴实的学者。
他自己在一篇述志的作品《应闲》里，说他是“约己博艺，无坚不钻”。又说“君子不患位之不立，而患德之不崇；不耻禄之不伙，而耻智之不博”。可以看出他的做人的风格。
。张衡具有唯物主义思想，他在当时能拔出流俗地反对谶纬之学，有《请禁绝图谶疏》。但他的一些奏疏也不免讲灾异，认为那是上天的谴告。
张衡的文学作品主要是辞赋和诗。他的辞赋的代表作是《西京赋》、《东京赋》、《南都赋》。《西京赋》和《东京赋》据《后汉书》的《张衡传》记载，“精思博会，十年乃成”。
这两篇赋是拟班固的《两都赋》，据说张衡对班固的《两都赋》“薄而陋之”因此作了这两篇。这两篇赋体制比班固的赋更宏大。它也像其他事类赋一样，文学价值不很高。
但有些特色。它除了像它以前一般的事类赋一样，铺写东西南北所有以及宫室动物等外，还写了许多民情风俗。
像《西京赋》里写商贾、游侠、游丽辩论之士以及角觝百戏，《东京赋》里写“大傩”、“方相”等。
张衡还有述志的《思玄赋》和《归田赋》。《思玄赋》的主旨是说“吉凶倚伏，幽微难明”，张衡在政治上忧谗惧祸，“游六合之外”又不能，只好归到“回志朅来以玄諆，获我所求何思”，去潜心学术理论的探讨，反映了他性格软弱的一面。
《归田赋》是一篇短赋，是他不得志欲归隐时写的，其中写隐居之乐一节，在旧社会里曾引起许多羁宦的知识分子向往。他的抒情之作以《四愁诗》成就最高。据旧序，张衡晚年为河南相，这时，“天下渐敝，郁郁不得志”，他就作了《