Olá Jennifer!
Realmente é uma situação bastante complexa… Acho melhor conversar com ele e dizer a ele que essa situação está te incomodando. Tente fazer isso de uma maneira não agressiva para que ele não fique defensivo logo de cara e tente enter o que acontece realmente.
Às vezes os pais dele são realmente difíceis e ele tenta remediar a situação o máximo que puder, ou então é algo "maior" mesmo, como a "ligeirinha" disse…
Não sei, mas se tem orgulho de vc e gosta/quer que vcs sejam namorados, não há prq os filhos ou pais dele atrapaharem. Se ele realmente gosta de vc, deveria estar pronto para lutar por isso, mesmo que trouxesse alguns problemas nas relações familiares.