15 अगस्त 1947 को जवाहरलाल नेहरू ने प्रधानमंत्री पद की शपथ ली तो सरदार पटेल को उपप्रधानमंत्री बनाया गया तथा उन्हें गृहमंत्रालय का चार्ज दिया गया। जवाहरलाल के पास विदेश मंत्रालय रखा गया। इस प्रकार देश के आजाद होते ही सरदार पटेल के हिस्से में गृहमंत्री के रूप में तीन बड़ी समस्याएं आईं- भारत की 562 देशी रियासतों को समझा-बुझा कर भारत में सम्मिलित करना, देश में मची भगदड़ को रोककर साम्प्रदायिक दंगों पर नियंत्रण करना तथा पाकिस्तान से आ रहे शरणार्थियों के पुनर्वास की व्यवस्था करना। ये कोई आसान कार्य नहीं थे किंतु भगवान ने सरदार पटेल को बनाया ही कठिन कार्यों के लिये था।
इसलिये सदार इन तीनों कामों पर एक साथ लग गये। पाकिस्तान से आने वाले शरणार्थी वहाँ बड़ी संख्या में हिन्दुओं के मारे और लूटे जाने के समाचार ला रहे थे जिनके कारण अमृतसर से लेकर दिल्ली तक साम्प्रदायिक हिंसा अपने चरम पर पहुंच गई। इस स्थिति को काबू में लाने के लिये उच्च मानवीय संवेदनाओं तथा दृढ़ इच्छा शक्ति की आवश्यकता थी।
सरदार पटेल ने पंजाब का दौरा किया तथा अमृतसर में एक विशाल जनसभा का आयोजन करके सिक्खों को समझाया कि यदि आपने हिंसा बंद नहीं की तो पाकिस्तान में हिंसाओं का दौर और लम्बा चलेगा। इस कारण आपके भाइयों को वहाँ से निकलकर आना और कठिन हो जायेगा। सरदार पटेल के पंजाब दौरे के बाद पंजाब में हो रही हिंसाओं की घटनाओं में उल्लेखनीय कमी आई।
इसके साथ ही सरदार पटेल ने दिल्ली में हो रहे दंगों को सख्ती से दबाया। सरदार पटेल ने पाकिस्तान निर्माण से पहले जिन्ना तथा उसके साथियों के हठधर्मी रवैये की बहुत कड़ी आलोचना की थी, इस कारण बहुत से कांग्रेसी नेताओं ने सरदार पटेल पर मुस्लिम विरोधी होने का आरोप लगाया। इस पर गांधीजी ने एक पत्रकार से इंटरव्यू में कहा कि सरदार पटेल को समझने में भूल इसलिये होती है, क्योंकि हिन्दू-मुस्लिम समस्या को सुलझाने का उनका तरीका मुझसे और सरदार से अलग है किंतु उन्हें मुस्लिम विरोधी कहना, सच्चाई को ठुकराना होगा।
गांधीजी के परम सहयोगी प्यारेलाल ने लिखा है- ‘कई बार सरदार पटेल को मुसलमानों और पाकिस्तान के दुश्मन के तौर पर देखा जाता है किंतु इससे बड़ा अपराध और कोई हो नहीं सकता। सरदार ने ही यह फैसला किया था कि जिन मुसलमानों ने भारत को अपना घर मानकर यहीं रहने का निश्चय किया है, उनके साथ अच्छा व्यवहार किया जाना चाहिये और उन्हें न्याय मिलना चाहिये।
‘ आगे चलकर भारत के प्रधानमंत्री बने मोरारजी देसाई ने लिखा है- ‘मुझे लगभग 20 वर्ष तक सरदार के नेतृत्व में कार्य करने का अवसर मिला निजी अनुभव के आधार पर मैं दावे से कह सकता हूँ कि सरदार एक मात्र व्यक्ति थे जो साम्प्रदायिक, जातिगत या धार्मिक पूर्वाग्रह से मुक्त थे और सभी धर्मों तथा समुदायों के प्रति सद्भाव रखते थे।’
