गृहमंत्री के रूप में सरदार पटेल के लिये दूसरी सबसे बड़ी चुनौती थी, पूर्वी पाकिस्तान एवं पश्चिमी पाकिस्तान की ओर से आ रहे शरणार्थियों के लिये त्वरित व्यवस्था करना। माइकल ब्रीचर ने भारत-पाकिस्तान के बीच हुई जनसंख्या की अदला-बदली के बारे मे लिखा है कि अफवाह, भय तथा उन्माद के कारण लगभग एक करोड़ बीस लाख लोगों की अदला बदली हुई जिनमें से आधे हिन्दू तथा आधे मुसलमान थे।
मोसले ने यह संख्या एक करोड़ चालीस लाख तथा खुशवंतसिंह ने एक करोड़ बताई है। अतः माना जा सकता है कि पचास से साठ लाख लोग पाकिस्तानी क्षेत्रों से भागकर भारत आये और इतने ही लोग भारत से पाकिस्तान गये। इतने लोगों का पुनर्वास करना, बड़ी समस्या थी।
जब पूर्वी पाकिस्तान से बहुत बड़ी संख्या में शरणार्थी भारत आने लगे तो सरदार पटेल ने पाकिस्तान को धमकी दी कि यदि वहाँ से लोगों का आना नहीं रुका तो इस जनसंख्या के अनुपात में पाकिस्तान से धरती की मांग की जायेगी। इस धमकी का पाकिस्तान पर न कोई असर पड़ना था, न पड़ा। भारत की राजधानी दिल्ली, पश्चिमी एवं पूर्वी पाकिस्तान से आये शरणार्थियों से पट गई।
जहाँ शाम को खाली मैदान दिखाई देते थे, सुबह उठकर लोग देखते थे कि उन मैदानों में रातों-रात हजारों शरणार्थियों ने डेरे जमा लिये हैं। ये लोग भूख-प्यास, सर्दी, बरसात और बीमारियों के सताये हुए थे और अपना सर्वस्व पाकिस्तान में छोड़कर आये थे।
जो भी इन्हें देखता, दया से पसीज जाता। इनमें से बहुतों के सम्बन्धी पाकिस्तान में मार दिये गये थे इसलिये ये लोग बहुत गुस्से में भी थे। पाकिस्तान में इन पर जो अत्याचार हुए थे, वे उनका बदला भारत में लेने का प्रयास करते थे। इसलिये सरदार पटेल ने दिल्ली में बड़ी संख्या में पुलिस एवं सेना की नियुक्ति की ताकि दिल्ली में दंगे न फैल जायें।
सरदार पटेल का गृह मंत्रालय शरणार्थियों के पुनर्वास के लिये दिन-रात काम में जुटा रहता। यह इतना बड़ा संकट था कि इसने आजादी का सारा आनंद तिरोहित कर दिया था। शरणार्थियों के लिये स्थान-स्थान पर तम्बू गड़वाये गये, पीने के पानी की व्यवस्था की गई और अस्थाई शौचालयों तथा चिकित्सालयों का निर्माण किया गया। सरदार पटेल ने देश के प्रतिरक्षा मंत्री सरदार बलदेवसिंह से कहा कि वे खाली पड़ी वैवेल कैंटीन शरणार्थियों के अस्थाई प्रवास के लिये दे दें। सरदार बलदेवसिंह ने न केवल वैवेल कैंटीन गृह मंत्रालय को दे दी अपितु आचिनलेक विश्राम स्थल भी दे दिया जिसमें बहुत बड़ी संख्या में शरणार्थी रह सकते थे।
सरदार पटेल को ज्ञात हुआ कि अंग्रेज सिपाहियों के चले जाने के बाद बहुत बड़ी संख्या में सैनिक बैरकें खाली पड़ी हुई हैं, वल्लभभाई ने वे बैरकें भी सरदार बलदेवसिंह से मांग लीं। उदार-मना सरदार पटेल, गुजरात के आंदोलनों में जनता से कई बार चंदा एकत्र करके प्रजा का उद्धार कर चुके थे, इसलिये अब भी उन्होंने मांगने में शर्म नहीं की तथा जहाँ कहीं से सहायता मिल सकती थी, जुटाकर शरणार्थियों को दे दी।
