Sua situação é delicada! Mas você já parou para pensar que estás preocupada com os outros e não com você mesma? Você falou da ex mulher e dos filhos dele, falou da sua mãe…mas e vc? Aceita essa situação de simplesmente ser a outra?
O amor é um sentimento nobre, mas precisamos antes de amar alguém, ter amor próprio! Precisas confiar em você e em seu sentimento. Na minha opinião, você dando um basta nessa relação não quer dizer que estás indo contra seus sentimentos, mas sim tendo amor próprio e respeitando-se.
Infelizmente, essa relação não está nas suas mãos, e sim na dele. Ele quem tem que decidir o que ele quer fazer. É um absurdo ele jogar essa responsabilidade pra vc! Pra você decidir o que?!? Quem tem que decidir algo é ele. A sua decisão é colocar um ponto final nessa relação. Só assim vc saberá se o amor dele por vc é verdadeiro. Pressão de família pode acontecer sim, mas se ele te ama, é totalmente suportável e contornável. Ele pode sim deixar dela. Afinal, seria melhor para a esposa dele e os filhos que ele ficasse com vc do que viver uma relação "fantasia" sendo traída a vida inteira.
Converse com ele, com calma e explique a situação. Não se submeta à isso, não por ninguém, por você!