在1963年，美國發生了一件很重大的政治事件，總統甘乃迪被暗殺，跟著美國政界出現了翻天覆地的變化。到1964年，美國政府決定興建甘乃迪紀念圖書館，並邀請了14名來自世界各地建築師來競投這方案。
當中包括：
1) Pietro Belluschi (MIT學院的院長)
2) Louis Kahn (美國建築大師)
3) 貝聿銘
4) Mies van der Rohe (發明了現代摩天大廈的建築大師)
5) Hugh Stubbin
6) Paul Thiry
7) John C. Warnecke
8) Benjamin C. Thompson
9) Alvar Aalto (芬蘭建築教父)
10)Franco Albini (意大利建築大師)
11)Sven Markelius (瑞典建築大師)
12)Sir Basil Spence
13)Lucio Costa (巴西建築大師)
14)丹下建三(日本建築教父)
每個建築師都需要向評審簡介其公司的背景和作品集，當年的比賽不如現在的設計比賽一樣，建築師需要先做出初步方案來讓業主選拔，當年只需要向評審自我介紹便成。1964年的貝聿銘並不算是一名新秀，還薄有名氣，但在Mies van der Rohe、丹下建三、Alvar Aalto、Louis Kahn等大師面前都只是一名無名小卒。(Mies van der Rohe、丹下建三、Alvar Aalto、Louis Kahn等人的建築是每個建築系學生必讀的作品)
最後，甘乃迪的家人宣佈由貝聿銘負責這項目，當時世人都嘩然這個決定。絕不相信一個小將可以一次打敗6-7名建築界巨人而奪得這項目。他成功的關鍵可能是評審當中包括了甘乃迪的遺孀和家人，由於她不是建築界的關係，所以沒有考慮到各大師的身份和背景。反而只注重各參賽者的表現，貝聿銘成功的原因是令甘乃迪夫人明白他的設計是與四周環境配合的，設計理念清楚易明，所以突圍而出。
這圖書館原本是打算建在華盛頓，但由於希望在圖書館旁附建一座博物館和檔案室，所以需另覓新地。於是便決定把圖書館建於麻省，因為甘乃迪曾是麻省的州長，而甘乃迪和貝聿銘都是Harvard 大學的畢業生，所以便打算在Harvard校園附近的地方。不過，就需要向當地一間巴士公司購入地皮，但最後巴士公司拒絕遷出，此圖書館需另覓新地。
最後，圖書館決定選址在麻省大學校園之內，因為這地盤是臨近河邊而四周沒有什麼建築物，所以可以把圖書館的地位變得更為突出，而甘乃迪總統更是喜歡航海的，因此選址適合。
就這樣一波三折，便把整個工程拖延了接近10年，但問題還未完結。經過了12年的爭論，雖然選址方面落得定案，但設計還是一個大問題。貝聿銘推出第一方案時，圖書館的平面是成一個正方形，並包圍了中個圓形的公園，主入口就如一座平了頭的金字塔。
此設計一出，當然劣評如潮，不少人批評為何要為甘乃迪總統建一座墓穴 ? (因為金字塔的功能是墳墓) ，金字塔與甘乃迪總統有什麼關係呢? 難道這是我們等了12年的設計嗎?
貝聿銘解釋的是這不是一個金字塔而是一個幾何圖案，整個玻璃入口讓陽光充滿了整個空間，在陽光之下便只有美國國旗，讓甘乃迪總統的精神永遠在陽光和國旗之下生存下去。雖然這方案得到甘乃迪夫人的支持，但是反對聲音實在太大，貝聿銘需要重新設計。
在1年之間，貝聿銘曾推出另一中途方案，但同樣得不到大多數人的支持而放棄。最後在1976年，貝聿銘推出最終方案，雖然這是第三個方案，實情這已是第10多個方案之後的成果。
最終的方案，首先完全放棄了金字塔的設計，改由一個正方形、一個三角形、一個圓形組合而成的建築群。正方形為玻璃主入口、三角形為圖書館和博物館、圓形為劇院。每個元素負責一個功能。正方形用黑色玻璃，其他部份則用白色油漆、黑與白、實與虛作了一個明顯的分別。在主入口之上，自然就只有陽光和美國國旗，喻意美國人在陽光之下是可以自由地飄揚。
這方案雖然都得到一些批評，但最終都獲得通過。不過，這項目拖延了10多年，開始時所籌得的捐款已遠遠不及10多年通脹後的物價。於是貝聿銘需要四處說服各財團支持，但是貝聿銘在1973年因Hancock tower 的問題而聲譽受損，再加上人民對甘乃迪總統的熱情已有一點淡化，所以支持財團都離他而去。最後，得到甘乃迪各家族各成員和麻省政府的支持才籌得足夠的興建費。
此圖書館最後在1979年落成，而美國國家藝術館東翼亦在1978年開幕，令貝聿銘開始步入大師級的行例。