באמת נכון, ובכל זאת קליי נולד בנסיבות טובות מאלה של יריביו לעתיד. אביו, קסיוס קליי האב, היה צייר שלטים ואמן לעת מצוא, שצייר ציורי קיר דתיים וציורי נוף. הוא תמיד עבד, אצל אחרים או באופן עצמאי. אמו, אוֹדֶסָה קליי, עבדה לעיתים בניקיון בתים ובבישול ארוחות ללבנים מן המעמד הגבוה בלואיוויל ("השתגענו על אודסה! היא כמו בת משפחה!"). בעיקר היתה אודסה עקרת בית ואם. לבני הזוג קליי היו שני ילדים — קסיוס מַרְסֶלוּס ורוּדוֹלף, שנולד בשנת 1944. בני הזוג קליי רכשו את ביתם בגְרנד אַוֶונְיוּ שברובע וֶסט אֶנד כשהיו בשנות העשרים לחייהם, תמורת 4,500 דולר. הבית היה בית פרטי קופסתי עם חצר קטנה, והוא שכן בשכונה שחורה לגמרי, אף כי היה רחוק מסְמוֹקטַאוּן, השכונה השחורה הענייה יותר בדרום־מערב העיר. (האֶליטה הלבנה בלואיוויל התגוררה באיסט אֶנד, בחלק המזרחי של העיר, באזור ריבֶר רוֹד, באינדיאֶן הילְז או במוֹקינְגְבֶּרְד וַאלי; האליטה השחורה הזעירה של כמרים, סוחרים ועורכי טקסי לוויה התגוררה בדרך כלל באיסט אֶנד.)

באותם ימים, כמה מן הדרכים בווסט אנד עדיין לא היו לגמרי סלולות ורבים מן הבתים היו סתם בקתות, אבל למרות שבני הזוג קליי לא ידעו מהי רווחה חומרית עד שבנם נעשה לאלוף העולם, מעולם לא חסרו להם מצרכי היסוד של הקיום. שני ילדי קליי היו לבושים היטב וניזונו היטב. אחת לזמן־מה היו קסיוּס ורוּדי מסייעים לאביהם לצייר שלטים בסופי־שבוע או לאחר שעות הלימודים, וגם עסקו פה ושם בעבודות זמניות אחרות כדי להרוויח קצת כסף נוסף (קסיוס שטף רצפות אצל הנזירות בספריית קולג' נָזָרֶת), אבל בניגוד לסוני ליסטון ולפלויד פּאטרסון, הם לא סבלו מעולם מן החרדה האיומה של לראות את הוריהם נכשלים.

"הוא לא היה ילד שהחמיץ אי־פעם ארוחה", אומר לָמוֹנְט ג'ונסון, חברו של קליי לספסל הלימודים. "באותם ימים, לא היתה דרך אחרת לחשוב על נסיבות חייו אלא כמעמד בינוני שחור".

משנעשה מוסלמי, עלי עתיד היה לומר שקליי הוא שֵם של עבדים — וזה, כמובן, היה נכון. אבל זה היה גם שם שמשפחתו נשאה בגאווה מסוימת. קסיוס קליי נקרא על שם מתנגד עבדות, איכר בן המאה ה־19 מקֶנְטאקי, שירש ארבעים עבדים ואחוזת מטעים בשם וייט הוֹל בעיר פוֹקְסטַאוּן במחוז מדיסון, קֶנְטאקי. אותו קליי התנשא לגובה מטר תשעים וחמש ופקד על חיילים במלחמה נגד מקסיקו. כששב הביתה, הוא נעשה מתנגד לעבדות וערך עיתון נגד העבדות בעיר לקסינגטוֹן, בשם האמריקאי האמיתי. הוא היה אחד הראשונים במדינת קֶנְטאקי ששיחרר עבדים מאחוזתו. קליי התעלם מאיומים על חייו ונשא בקֶנְטאקי נאומים בגנות העבדות. "לאלה המכבדים את חוקי האל, יש לי הטיעון הזה", היה אומר, ומניח בתיאטרליות עותק כרוך־עור של התנ"ך; "לאלה המאמינים בחוקי האדם, יש לי הטיעון הזה", וכאן היה מניח עותק של הצהרת העצמאות של ארצות־הברית; "ולאלה שאינם מאמינים בחוקי האל ובחוקי האדם כאחד, יש לי הטיעון הזה", ואז היה מניח שני אקדחים וסכין בּוֹאִי ארוך־להב. במהלך אחד העימותים נגד אחד מתומכי העבדות שהיה מועמד למישרה ממשלתית, נדקר קליי בחזה; למרבה המזל הוא נשא באותה עת את סכין הבּוֹאי שלו וגמל ליריבו בדקירה. אייבּרהם לינקולן שלח את קליי מטעם הממשלה לרוסיה, אבל הוא שב הביתה מסנט פּטרסבורג מקץ שנה לקראת פעילות נוספת נגד העבדות. הוא שמר על אומץ ליבו עד הסוף. כשהיה בן 84, נשא לאישה נערה בת 15.

קסיוס קליי — הנער, המתאגרף — גדל כשהוא שומע סיפורים על אבי־סבו, שגדל על אדמתו של קליי מתנגד העבדות. "סבא שלי היה עם הזָקֵן, אבל לא בתור עבד, לא אדוני!", סיפר קליי האב, אביו של המתאגרף, לג'ק אוֹלְסֶן, שריאיין את הורי המתאגרף בהרחבה. (הם נפטרו בשנות התשעים של המאה ה־20.)

משפחתה של אודסה היתה בעלת דם מעורב, עובדה העתידה לגרום לעלי כמה רגעי מצוקה לאחר המרתו לאומת האיסלם. עלי עתיד לטעון שכל דם לבן במשפחתו הגיע באמצעות "אונס וזיהום". המציאות היתה מורכבת יותר. אחד מסביה של אודסה — בשמה המלא אודסה לי גְרֵיידי קליי — היה תוֹם מוּרְהֶד, בנם של גבר לבן ושפחה בשם דינה. סבה האחר היה אדם לבן — אֵייבּ גְרֵיידי, מהגר ממחוז קלייר באירלנד, שנשא אישה שחורה; בנם נשא אף הוא אישה שחורה, ואחת מבנותיהם היתה אודסה.

אודסה קליי היתה אישה מתוקה, בהירת עור ובעלת פני ירח, שלקחה את בניה לכנסייה מדי יום ראשון והשגיחה כי יקפידו על ניקיונם, יעבדו קשה ויכבדו את המבוגרים מהם. קליי כינה את אמו בֶּרְד (ציפור), והיא כינתה אותו, בעקבות "מילותיו" הראשונות, גִ'י־גִ'י (Gee Gee). (יותר מאוחר, אביו התייחס אל השם הזה כאל סימן מבשר לזכייתו העתידית של עלי באליפויות מועדוני כפפות הזהב, כי ג'י־ג'י הם ראשי התיבות של Golden Gloves.) משפחת קליי המורחבת היתה גדולה, ובכינוסים משפחתיים היה קסיוס הילד היפה, שתמיד מפטפט, מתלוצץ, תובע את תשומת הלב של כולם וזוכה בה.

"הוא תמיד היה דברן", אמרה אודסה קליי. "הוא כל־כך ניסה לדבר כשהיה תינוק. הוא היה מקשקש כל־כך הרבה, אתה יודע? ואנשים היו צוחקים והוא היה מטלטל את פניו ומקשקש כל־כך מהר. אני לא מבינה איך מישהו מסוגל לדבר כל־כך מהר, כמו ברק. והוא אף פעם לא ישב בשקט. הוא היה איתי במיטה בגיל שישה חודשים ואתה יודע איך תינוקות מתמתחים? והיו לו זרועות שריריות קטנות והוא נתן לי מכה בפה כשהוא התמתח וזה עקר קצת את השן הקדמית שלי והשפיע גם על השן הקדמית השנייה והייתי צריכה לעקור את שתיהן. אז אני תמיד אומרת שאת הנוקאאוט הראשון שלו הוא הנחית על הפה שלי".

"הוא אהב לדבר", אמר אבא של קליי. "הייתי בא הביתה והוא היה מביא אולי חמישים ילדים אל המרפסת — הוא היה אז בערך בן שמונה — והוא היה מדבר אל כולם, נואם בפניהם, ואני הייתי אומר, 'למה שלא תיכנס ותלך למיטה?' שכונה שלמה של ילדים והוא זה שמדבר. הוא תמיד מצא משהו לדבר עליו".

קסיוס קליי האב היה גנדרן השכונה, שחצן, שובה לבבות, שחקן, מלא וגדוש במעשיות פנטסטיות ובפטפטת של בדיות אמיתיות־כביכול. לכל מי שהיה מוכן להקשיב, כולל הכתבים שהגיעו לימים אל לואיוויל בהמוניהם, סיפר קליי האב שהוא היה שייח' ערבי, אציל הודי. כמו רַלף קְרַמְדֶן, נהג האוטובוס בעל החלומות של גֶ'קי גְליסוֹן, קליי האב היה מספר בהגזמה על תוכניותיו לעשות מַכּה ענקית, על שיווק של איזה רעיון או מכשיר שיזניק את משפחת קליי, אחת ולתמיד, מלואיוויל אל איזה גן־עדן פרברי. אבל חולשתו הגדולה היתה לטיפה המרה, וכשהיה שותה — לעיתים קרובות היה נעשה אלים. רישומי משטרת לואיוויל מעידים כי נעצר ארבע פעמים על נהיגה פרועה, פעמיים על התנהגות בלתי הולמת ופעם אחת על תקיפה; בשלוש הזדמנויות, אודסה התקשרה למשטרה להתלונן שבעלה מכה אותה. "אני אוהב לשתות כמה כוסיות מפעם לפעם", אמר קליי האב. לעיתים קרובות בילה את לילותיו בכך שעבר מבר אחד למישנהו, והתחיל עם בחורות בכל הזדמנות. (שנים רבות לאחר מכן, אודסה התעייפה כל־כך מרדיפת הנשים של בעלה, שהיא התעקשה על תקופת פירוד.) ג'ון "ג'וּנְיוֹר פַּאל" פּאוּאֶל, בעליה של חנות משקאות בשכונת וֶסט אֶנד, סיפר לכתב מספורטס אילוסטרייטד על לילה שבו האב הגיע אל דירתו ברגליים כושלות, חולצתו מוכתמת בדם. אישה אחת דקרה אותו בחזה. כשפּאוּאל הציע לקחת אותו אל בית החולים, סירב קליי במילים: "היי, ג'וניור פּאל, הדבר הכי טוב שאתה יכול לעשות בשבילי זה לעשות מה שעושים הבוקרים. אתה יודע, תן לי לשתות משהו ושפוך קצת ממנו על החזה, ואני אהיה בסדר".

נראה שכבר בגיל צעיר למד קליי לדחוק ממוחו את התקריות הפרועות האלה; אפילו לאחר שנעשה לדמות החשופה ביותר והידידותית ביותר לעיתונאים בעולם, הוא נמנע משאלות חודרניות על אביו. הוא היה מתלוצץ על החולשה של אביו לנשים — "אבא שלי הוא נער שעשועים. הוא תמיד נועל נעליים לבנות ולובש מכנסיים ורודים וחולצות כחולות והוא אומר שהוא לא יזדקן לעולם" — אבל לא היה נותן לדיון להעמיק מעבר לזה. "תמיד נדמה לי שעלי ספג בילדותו פצע פסיכולוגי גדול מאביו, ובגלל זה מאוד הסתגר", אמר אחד מחבריו הקרובים של עלי. "מבחינות רבות, עם כל הקסם והברק שלו, מוחמד הוא נער שהתבגרותו נבלמה. יש שם הרבה כְּאֵב. ואפילו שהוא ניסה תמיד להשאיר את זה מאחוריו, לדחוק את זה מהראש, הרבה מהכאב בא מאבא שלו, מהשתייה, מהאלימות לפעמים, מההשתלחויות".

אביו של קסיוס עבד קשה לפרנס את משפחתו, והיתה תקופה ששלטים שלו התנוססו בכל רחבי לואיוויל.

 אבל קליי האב היה בעל מלאכה מריר. תיסכולו הגדול נבע מכך שהוא לא התפרנס מציור ציורי קיר ומציור על בד. הוא לא היה מוכשר באופן יוצא מן הכלל — ציורי הנוף שלו היו צעקניים, ציורי הדת שלו רחוקים רק צעד אחד מקיטש — אבל הוא גם לא למד מעולם. קליי האב עזב את בית־הספר בכיתה ט', והאשים בכך, בצדק רב, את ההזדמנויות המוגבלות שהיו אז לשחורים. לעיתים קרובות היה מספר לילדיו שהאדם הלבן מעכב אותו, מונע ממנו להיות אמן אמיתי, להביע את עצמו. מעולם לא היה מעודן בחוסר האמון שלו כלפי הלבנים. ולמרות שהוא עתיד להאשים את אומת האיסלם שעשו "שטיפת מוח" לבניו ועשקו אותם, לעיתים קרובות דיבר סביב שולחן האוכל ובברים על הצורך בהגדרה עצמית שחורה. הוא העריץ את מרקוס גארְווי, הלאומן השחור הבולט אחרי מלחמת העולם הראשונה ואחד מאבותיו הרעיוניים של אֶלַייגָ'ה מוּחַמָד. הוא לא היה מעולם חבר באירגון של גארְווי, אבל כמו שחורים רבים בשנות העשרים, הוא היה מלא הערכה כלפי קריאותיו של גארְווי לגאווה גזעית ולהסתמכות השחורים על עצמם, גם אם לא חש כך, אולי, לגבי רעיון השיבה לאפריקה.

ככל ילד שחור בן דורו, קסיוס קליי למד במהירות שאם יתעה מחוץ לשכונה — אל שכונת פּוֹרטלנד הלבנה, נניח — ישמע קריאות "ניגֶר" ו"לך הביתה ניגר". הנאומים של אביו סביב שולחן האוכל לא היו ממש נחוצים כדי לעורר בו הכרה גזעית בגיל צעיר. קֶנְטאקי היתה, ועודנה, מדינת גבול מסובכת. היא לא פרשה במהלך מלחמת האזרחים, אף כי רוב תושביה הזדהו עם הקונפדרציה. קֶנְטאקי חיה על־פי חוקי ג'ים קְרוֹ, גם אם לא במלוא חומרתם כמו במיסיסיפּי או אלבּמה. בלב העיר הוגבלו השחורים לחנויות ברחוב ווֹלְנַט בין השדרה החמישית לעשירית. במלונות שׂררה הפרדה. גם בתי־הספר היו מופרדים למעשה, אם כי היו סימנים ראשונים לאינטגרציה עוד לפני "בראון נגד מינהל החינוך". היו "חנויות לבנות" ו"חנויות כושיות", "גנים ציבוריים לבנים" ו"גנים ציבוריים כושיים". ברוב בתי הקולנוע בעיר, כמו הסָבוֹי, הלבנים ישבו באולם והשחורים ביציע; שאר בתי הקולנוע — לוֹאֶ'ס, מֶרי אַנדֶרסוֹן, בּראוּן, סְטְרַנד, קֶנְטאקי — נועדו ללבנים בלבד; קולנוע ליריק נועד לשחורים. בתחבורה הציבורית, השחורים ישבו מאחור והלבנים מלפנים. צ'יקָסוֹ פארק היה שחור, שוֹני פארק היה מעורב, והשאר היו לבנים. "פשוט ככה חיינו", אמרה בֶּוֶורְלי אֶדְוַורְדס, בת כיתתו של קליי. "קֶנְטאקי ידועה כשער אל הדרום, אבל לא היינו ממש שונים מן הדרום העמוק בכל מה שנוגע לענייני גזע".