1950 की गर्मियों में पटेल का स्वास्थ्य तेजी से गिरा। उनकी खांसी में खून आने लगा। मणिबेन ने पटेल की बैठकों तथा कार्य-घण्टों की संख्या कम कर दी तथा पटेल के स्वास्थ्य की देखभाल करने के लिये व्यक्तिगत मेडिकल स्टाफ नियुक्त किया गया। पश्चिम बंगाल के मुख्यमंत्री बिधानरॉय जो कि डॉक्टर भी थे, को ज्ञात हुआ कि पटेल अब अपनी मृत्यु के निकट होने को लेकर मजाक कर रहे हैं तथा उन्होंने अपने साथी मंत्री एन.वी. गाडगिल के समक्ष यह कहा है कि अब वे अधिक दिनों तक जीवित नहीं रहेंगे। 2 नवम्बर 1950 को पटेल का स्वास्थ्य अत्यंत खराब हो गया। वे बार-बार बेहोश होने लगे। 12 दिसम्बर 1950 को उन्हें दिल्ली ले जाया गया।
उस दिन नेहरू, राजगोपालाचारी, राजेन्द्र प्रसाद तथा मेनन दिल्ली एयरपोर्ट पर उन्हें विदा देने आये। पटेल बहुत कमजोर हो चुके थे। उन्हें कुर्सी सहित ही विमान में चढ़ाया गया। बम्बई में सांताक्रूज हवाई अड्डे पर विशाल जन समूह उनके स्वागत के लिये खड़ा था। पटेल को तनाव से बचाने के लिये जूहू हवाई अड्डे पर उतारा गया। यहाँ मुख्यमंत्री बी. जीत्र खेर तथा मोरारजी देसाई ने उनका स्वागत किया।
बम्बई के राज्यपाल की कार उन्हें लेने आई थी जिससे वे बिड़ला हाउस पहुंचे। 15 दिसम्बर 1950 को उन्हें दूसरी बार तीव्र हृदयाघात हुआ तथा उनका निधन हो गया। उनकी मृत्यु के अगले दिन भारतीय नागरिक सेवाओं तथा भारतीय पुलिस सेवा के डेढ़ हजार से अधिक अधिकारियों ने पटेल के दिल्ली स्थित निवास पर उपस्थित होकर उन्हें श्रद्धांजलि दी। उन्होंने भारत माता के प्रति पूर्ण स्वामिभक्ति की शपथ ग्रहण की। भारत के इतिहास में ऐसा दृश्य इससे पहले कभी नहीं देखा गया। बम्बई सरकार ने गिरगाम चौपाटी पर उनका अंतिम संस्कार करने की योजना बनाई किंतु मणिबेन ने कहा कि सरदार की इच्छा थी कि उनका अंतिम संस्कार सामान्य आदमी की तरह सोनापुर में किया जाये।
अब इस स्थान को मैरीन लाइन्स कहा जाता है। इसी स्थान पर पटेल के भाई का तथा पटेल की पत्नी का अंतिम संस्कार किया गया था। उनके अंतिम संस्कार में भाग लेने के लिये दस लाख लोग आये। प्रधानमंत्री नेहरू, राजगोपालाचारी तथा राष्ट्रपति डॉ. राजेन्द्र प्रसाद भी उपस्थित रहे। उनकी मृत्यु पर मैनचैस्टर गार्जियन ने लिखा था कि एक ही व्यक्ति विद्रोही और राजनेता के रूप में कभी-कभी ही सफल होता है परन्तु पटेल इस सम्बन्ध में अपवाद थे।
