1977 – באופוזיציה
בבחירות לכנסת שנערכו ב-17 במאי 1977 התברר כי מפלגת העבודה איבדה את השלטון, ולראשונה זכה הליכוד בראשות מנחם בגין להרכיב את הממשלה. מפלגת העבודה עברה לאופוזיציה. כחבר כנסת ליווה רבין בהתפעמות את ביקורו של סאדאת בארץ. חרף הסתייגותו מהסעיפים הקשורים להורדת היישובים בסיני, תמך בכנסת בהסכם השלום עם מצרים.
בשנת 1979 פרסם את ספר זכרונותיו, “פנקס שירות”, בו סיכם את דרכו הצבאית ובא חשבון עם יריביו הפוליטיים, בעיקר עם שמעון פרס. בלשכתו הקטנה בקריה בתל אביב, שהוקצתה לשימושו כראש ממשלה לשעבר, הרבה לכתוב לעיתונים, להיפגש עם ידידיו הוותיקים ולהפיח חיים במחנה תומכיו במפלגה.
בבחירות שנערכו ב-1981 במפלגת העבודה, למועמד המפלגה לראשות הממשלה, תמך ביגאל אלון. אך לאחר מותו הפתאומי של אלון, בפברואר 1980, הכריז על מועמדותו. פרס הוא שזכה במועמדות, אך הליכוד ניצח בבחירות.
ב-6 ביוני 1982 החל מבצע שלום הגליל להגנת יישובי הצפון. רבין תמך בשלביו הראשונים, אך משנתארכה המלחמה והורחבו מטרותיה התריע מפני שקיעת צה”ל בבוץ הלבנוני ותבע להסיג את כוחות צה”ל לרצועת ביטחון ממנה יגנו על גבולה הצפוני של ישראל.
