फ़्रेडरिक डगलस का जन्म लगभग 1818 में अमेरिका के मैरीलैंड राज्य में दासता में हुआ था। उन्हें अपने जन्मदिन की सही तारीख़ कभी पता नहीं चली, क्योंकि दास बनाए गए लोगों को अक्सर ऐसी बातें नहीं बताई जाती थीं। बचपन में ही उन्हें उनकी माँ से अलग कर दिया गया था, और माँ की मृत्यु से पहले वे उन्हें केवल कुछ बार, रात के समय, देख पाए। उन वर्षों में अमेरिका के बहुत-से हिस्सों में दासों को पढ़ना सिखाना क़ानून के विरुद्ध या सख़्ती से मना था।
जब फ़्रेडरिक लगभग आठ वर्ष के थे, तो उन्हें बाल्टीमोर नगर में ह्यू और सोफ़िया ऑल्ड के घर में रहने भेजा गया। सोफ़िया ऑल्ड के पास पहले कभी कोई दास नहीं रहा था, और शुरू में वे दयालु थीं। उन्होंने फ़्रेडरिक को वर्णमाला सिखाना शुरू किया, और जल्द ही वे छोटे-छोटे शब्दों के हिज्जे करने लगे।