미국은 멕시코와 국경지대. 언제나 국경을 몰래 넘나드는 멕시코 난민들 덕에 국경지대 경찰은 늘 골치를 썩는다. 늦은 밤, 역시 멕시코 난민을 실은 차량이 넘어오고 경찰이 수색을 시작하려 할 때, 한 대의 검은색 차량이 급히 다가선다. 검은 차에서 내린 검은 선글라스, 검은 양복, 검은 넥타이, 검은 구두로 치장한 그들은 일급 국가 비밀 조직인 MIB(Men In Black). 그들은 온 몸을 블랙으로 치장한 채 지구에 장착한 외계인을 감시하고 방어하는 미연방 일급 기밀 조직으로 그들의 임무는 지구인으로 위장한 불법 이민 외계인을 가려내는 것이다.

MIB는 그들의 조직원을 제외하고는 외부인에게는 완전히 베일에 가려진채, 지금껏 이민 외계인을 감시하고 불법 거주자를 방어하며 평화를 성공적으로 지켜왔다. 한편 이민 외계인들은 철저히 지구인의 모습으로 살아가기 때문에 다른 사람들은 전혀 눈치를 못채고 있었다. MIB의 유능한 형사 K(Agent K: 토미 리 존스 분)는 은하계에서 날로 증가하는 지구 이민 외계인들을 감시하는 베테랑. MIB는 외계인들의 정체가 혹시라도 지구인에게 들어날 경우, 기억 말소 장치를 사용해 일반인들에게 철저히 외계인 추적을 방지하고 있었다. 그러나 뜻하지 않게 전쟁 중인 은하계에서 평화 회담차 온 두 외교 대사가 암살당하는 사건이 발생한다.

신참 J(Agent J, James Edwards: 윌 스미스 분)와 K는 외계인 정보 수집가들의 도움을 요청하여 외계인 무법사 에드가(Edgar: 빈센트 도노프리오 분)의 사악한 외계인들이 두 은하계의 평화를 방해하고 있음을 알아낸다. 또한 양 은하계의 분쟁의 대상은 보석 속에 존재하는 작은 소우주 라는 것도 알게 된다. 엄청난 위력을 가진 이 작은 소우주를 찾기위해 J와 K는 뉴욕시 의료 검사관인 닥터 로웰(Agent L, Dr. Laurel Weaver: 린다 피오렌 티노 분)의 도움으로 이 작은 소행성을 찾기 위해 필사의 노력을 펼치지만 벌써 에드가의 손아귀에 들어가 버린 상태. 게다가 거대한 본 모습을 드러낸 에드가는 K를 집어 삼키고 마는데.