20세기의 가장 위대한 과학자로 일컬어지는 아인슈타인. 헝클어진 백발과 깊게 패인 이마의 주름살이 온화한 분위기의 대학자를 연상케 한다. 그래서 아인슈타인은 과학뿐 아니라 도덕적으로도 일정한 경지에 오른 겸허하고 평온한 사람으로 비쳐진다. 그러나 반대로 아인슈타인의 사생활은 부도덕하며 무책임한 행동으로 가득찼다는 평가가 만만치 않다.
아인슈타인은 두번 결혼했는데, 두명의 부인 모두 아인슈타인의 '바람기' 때문에 괴로워했다. 첫 부인은 지적 매력이 넘치는 과학 연구의 동반자 밀레바 마리치(M. Maric, 1875-1948)다. 어린 시절부터 과학 분야에 뛰어난 재질을 보인 영재였다. 스위스 연방공과대학에서 두사람이 만났을 때 아인슈타인은 그녀의 지적 매력에 강하게 끌렸다. 게다가 그녀는 아인슈타인처럼 음악에 대한 애정이 남달랐다. 비록 다리를 조금 절었지만 아인슈타인에게는 한없이 사랑스런 여인이었다.
연애가 한창 진행될 때 이들에게 커다란 시련이 닥쳤다. 밀레바는 최종 시험을 두달 앞둔 상황에서 자신이 임신한 사실을 알았다. 한번 시험에 떨어진 경험이 있는데다 임신에 대한 부담감 때문에 밀레바의 스트레스는 이만저만이 아니었다. 더욱이 아인슈타인은 졸업은 했지만 직장을 잡지 못해 경제적 여건이 어려웠다. 아인슈타인의 어머니는 밀레바를 '책벌레이지 아내감은 아니다'라며 강하게 반대했다. 결국 밀레바는 또다시 시험에 떨어지고 고향에 돌아가 딸을 낳았다(현재까지 딸의 행적은 오리무중이다).
결혼 승낙은 아버지의 임종 직전에 떨어졌다. 1903년 결혼식을 올린 후 아인슈타인이 특허청 공무원으로 취직해 일할 때까지 이들의 생활은 평온했다. 하지만 1905년 아인슈타인이 특수상대성이론을 발표하면서 학계의 스타로 등장하자 상황이 달라지기 시작했다. 같은 학자였지만 자신은 이렇다 할 명성을 얻지 못한 밀레바로서는 불안감과 소외감이 커질 수밖에 없었다.
그러나 밀레바를 더욱 괴롭힌 것은 아인슈타인의 복잡한 연애 행위였다. 한 예로 밀레바가 대학에서 시험을 준비하던 때 아인슈타인은 휴가를 떠나 호텔 주인의 처제와 사귀었는데, 결혼 후에도 계속 편지를 주고받았다. 하루는 밀레바가 그녀의 답장을 가로채 아인슈타인에게 격렬하게 항의했다. 그리고 이런 식의 부부싸움은 계속 일어났다.
1919년 아인슈타인과 밀레바는 이혼했다. 두 아들은 밀레바가 키웠다. 아인슈타인은 그해 6월 그동안 사귀던 3년 연하의 사촌 누이 엘자와 결혼했다. 당시 엘자는 이미 두 딸을 둔 이혼녀였는데, 모성애가 매우 강하다고 알려진 평범한 여자였다. 재혼 전 아인슈타인은 엘자에게 부부관계의 어려움을 털어놓으며 위안을 삼았다고 한다.
그러나 엘자 역시 밀레바와 같은 고통을 겪었다. 그녀는 '매일 남편을 잃어버리는' 괴로움의 나날을 보냈다.
아인슈타인 역시 결혼에 대해 깊은 회의를 느낀 듯하다. 그는 "95% 정도의 남녀는 천성적으로 일부일처제에 안어울리며 단지 즐기기를 선호한다"고 말하면서 결혼의 불필요성을 주장했다고 한다.