虽然育婴堂的本意是鼓励这些好心人继续行善，不料送弃婴到教堂有钱收的事很快就传了出去，并传到了一些市井流氓的耳中。
于是，在天津的民间，开始有一些市井流氓到处搜集或四处拐骗小孩，将他们送到育婴堂，并欺骗说是弃婴。而修女们也没多想，更没有鉴别流氓说谎的能力，就按照惯例也给他们一些金钱作为奖励。
可这种事从旁观者的角度看来，一手交钱一手交人的行为，怎么都有些像拐卖小孩。于是流氓和教堂勾结起来，拐卖婴儿的谣言开始被人们口口相传。
到了六月，由于天气逐渐变得炎热，一些不知名的瘟疫也开始流行，而育婴堂里的神父和修女虽然做的是收养弃婴的慈善事业，但由于当时的医疗水平和条件十分有限。
再加上很多弃婴本身就患有先天性的疾病，所以接下来发生了一件始料不及的事，一部分婴儿要么死于瘟疫，要么死于先天性疾病。
这些婴儿死亡后，神父和修女原本想花钱聘请丧葬工人将他们好好安葬，但收到钱的丧葬工人为了节省成本，却将掩埋死婴的事情做得十分马虎。他们将几个婴儿塞到一副棺材中，挖一個浅浅的小坑，草草地埋下了事。
这是神父和修女犯下的第二个错误，没有严格监督丧葬工人安葬死婴的工作。由于坑挖的实在太浅，嗅到气味的野狗半夜纷纷跑来，将死婴刨出来吃掉。
到了天亮时分，野狗没吃完的死婴残肢就被天津的老百姓发现。他们并不了解事情的前因后果，加上之前听到的谣言，于是他们开始猜想是教堂杀了小孩。
这种说法传开后，就有人偷偷趴到教堂的窗户上查看，结果就有人说看到桌上有一大瓶圆滚滚的眼珠子。这些谣言叠加在一起，就组成了部分老百姓眼中的一项严重的指控，教堂的洋人杀中国小孩采眼挖心用来制药。
这个谣言很快就插上了翅膀，在天津飞快的传播开来，同时也激起了巨大的民愤。
雪上加霜的是，在这段时间里刚好抓获的两名拐卖儿童的疑犯，