难以拒绝别人

老公同事的儿子和我儿子是同学,他老婆有事出去,经常不提前打招呼,半道发条微信让我帮他看孩子,好几次了,很反感,我自己两个孩子,小的两岁多,都很淘气,还要忙着做饭,自己的孩子都觉得烦,和况我们又不熟悉,让我看他孩子,孩子也不听我的,说走就走,我也不想担那份责任,何况我又没有义务,不明朗的拒绝了,但是感到心理很不舒服。