영국의 달링턴가는 모두가 알아주는 유명한 귀족 집안이다. 달링턴 가의 집사 스티븐슨(안소니 홉킨스)은 집사장이라는 신분을 넘어서서 달링턴가의 충복이다. 그가 하는 일은 모두 달링턴가를 위한 것이 먼저였다. 달링턴가가 최우선인 그는 하녀장 캔튼(엠마 톰슨)에게 사랑을 느끼지만 그것 역시 한 순간의 감정일 뿐이라고 치부하며 자신의 사랑을 표현하지 않는다. 제 2차 세계대전까지도 외교의 중요한 역할을 하던 달링턴 저택이 달링턴이 나치 지지자로 지목되면서 몰락한다. 어쩔 수 없이 달링턴가는 미국의 정치인 손으로 넘어가지만 스트븐슨은 달링턴가를 지키려 한다. 새 하녀장으로 캔튼을 부르지만 손녀를 키워야 한다며 캔튼이 그의 제의를 거절하자 그제서야 스트븐슨은 자신의 인생을 돌아보며 후회하는데...