不过，但凡有点尊严和能力的男人，都不愿意做上门女婿，只有那种实在没有办法的人，才不得不入赘，所以上门女婿的地位很低，也经常被人瞧不起，俗称“倒插门”，这是一种带有贬义的说法。
很多人对“倒插门”这种说法感到很好奇，为什么要叫“倒插门”这么奇怪呢？原来，“倒插门”的说法其实很有内涵。过去每家每户的大门都是两扇，木匠在做门的时候会在里面设计一个插栓，关门的时候，把一根木头横着插进去锁上，就可以起到防盗的作用。
如果反着倒过来，锁门的装置放到门外，就变成了倒插门，在外面锁门，只有自家人有钥匙，防范的主要是外人，而上门女婿生活在女方家里，他的地位实际上就是不受信任的外人，就连所生的子女都不能跟自己姓，所以上门女婿叫“倒插门”，包含有耻笑的意味。
上门女婿和倒插门，都含有不被尊重的贬义，与之相比，说“入赘”和“赘婿”，就显得文雅多了，而且在历史上有很多着名人物都是赘婿，比如战国时期的思想家淳于髡，史书上记载他是“齐之赘婿”；
还有大名鼎鼎的诗仙李白，曾在湖北安陆做过上门女婿，妻子是大唐宰相许圉师的孙女；还有晚清时期的左宗棠，年轻的时候因为家中困难而入赘到湖南湘潭一户姓周的人家里。
赘婿的“赘”字，由“敖”字和“贝”字组成，“敖”字含有抬举抬升之意，“贝”在古代指金钱，代表价值，所以“赘”这个字，有让价值得到提升的寓意，《说文解字》中说“敖，以物质钱也”，就是用东西抵押换取钱财，这个东西也包括“人”。
《淮南子》中记载“卖子与人作奴婢，名曰：赘子”，就是说穷苦人家生存不下去的时候，会把自己的子女质押或者卖给富人，如果不能赎回，子女就得当一辈子的女婢，这叫“赘子”。
“赘婿”其实和“赘子”差不太多，穷人家把儿子质子于富贵人家，过期不能赎身，于是被招赘，过去有“家富子壮则分家，家贫子壮则出赘”的习俗，