当林知郎看到这林光祖像是做了天大的好事，到他父母那边，跟他父母说出自己做的“好”事迹，譬如扔蜘蛛，推林知郎入水里等等事情时，林正伯夫妇还一脸赞同时，林知郎就表示：原来不是一家人，不进一家门。
林知郎自然是利落地回到自己家里去了，他才三岁，只能勉强走动，周围还有仆人带着他。
不得不说，虽然只有三岁，但是风波却不少。
三岁的时候，开了一次家族大会，意思就是，如果林知郎没有做出什么光荣的事来，也许日后继承的位置就落在这林光祖身上了。
林知郎起初还不明白为什么是这样的发展，毕竟不是由嫡子嫡孙继承吗？这个庶子来凑什么热闹？
就算年龄再怎么比自己大，也无法抹掉他是庶子的事实。
后来林知郎就渐渐地明白了，大约是四岁的时候，林知郎正坐在庭院里，背靠大树乘凉快时，就听到外面有人过来了，听着他们的脚步声，林知郎起初还不知道是谁，有点警惕，怕是那个“调皮”“不懂事”的好好表哥要过来“推”自己一把，可谁知道，竟然是自己的父母过来了。
林知郎走到树边去，躲藏在里面，偷听他们讲话。