丈夫曾外遇过,现在他手机总不让我碰怎么办?

丈夫曾外遇过,现在他手机总不让我碰怎么办?