去大公司上班3个月再回原公司,会不会很丢人

回家就回家
之前在旧公司呆了3年,是个小公司活多钱少,经常被他们自己人叫来叫去的,也是一堆怨气就走了。
换了个大一点的公司,待遇差不多但福利比较好。规章制度比较多,这些都可以忍一忍吧。后来说有一个项目在外省,要把派我去,估计我是新来的就叫我吧。我有家庭了不可能在常驻外地。就拒绝了,领导一直给我做思想工作要我去。
跟原公司老板的侄子比较熟,和他聊天说了这事,他估计跟老板说了。后来老板问我在新公司呆的怎么样,如果想回来还是欢迎的。
现在就纠结了,当时原老板一直劝我,我还是铁了心一定要走。如今再回去会不会很丢人,老板会怎么看?同事们会怎么想?