婚姻问题

结婚三年,孩子一岁,出去嫖娼被我逮到四次,没逮到的不知道。每次都跪下求我原谅,求我看在孩子的份上。确实对孩子也忍不下心来。现在这些事情就是一个疤,他犯一次错揭开一次,不管什么错,最后都会回归到这个根源,我想离婚,又怕孩子长大以后会怪我,可我在他家过的不快乐,他一家仗着我心疼孩子,觉得我不管受什么委屈都得受着,他爸让我逆来顺受,他们一家子说什么是什么,他妈整天说我自找的识人不清,无原则向着她儿子,我的丈夫似乎忘了是谁伤害了我,是谁又跟我承诺以后绝不和我吵架犯错,指着我鼻子当着他爸妈面骂,我该怎么办?我的孩子我怕他怪我。