विल्मा रुडोल्फ़ का जन्म 23 जून 1940 को अमेरिका के टेनेसी राज्य में क्लार्क्सविल के पास एक छोटी-सी बस्ती में हुआ था। उनका जन्म समय से पहले हुआ था और उनका वज़न केवल लगभग दो किलोग्राम था। वे अपने पिता के परिवार के बाईस बच्चों में बीसवीं थीं। उनके माता-पिता कड़ी मेहनत करते थे, पर उनके पास बहुत कम पैसे थे।
छोटी उम्र में विल्मा अक्सर बीमार रहती थीं। उन्हें निमोनिया और स्कार्लेट ज्वर हुआ। फिर लगभग पाँच वर्ष की आयु में उन्हें पोलियो हो गया, जो एक ऐसी बीमारी है जो नसों और मांसपेशियों को नुक़सान पहुँचा सकती है। वे बच तो गईं, पर उनका बायाँ पैर और पंजा कमज़ोर और टेढ़ा हो गया। डॉक्टरों ने कहा कि शायद वे कभी सामान्य रूप से चल न सकें। उन्हें अपने पैर पर धातु का एक भारी ब्रेस पहनना पड़ा।