آیا کعبه پیش از اسلام نشانی از حماقت و جهالت مردم بود؟ یا می‌توان نگاهی متفاوت به آن داشت؟ کعبه پیش از ظهور محمد نیز مورد احترام بود و مقامی مذهبی و قدسی داشت. برای فهم جایگاه کعبه، شاید لازم باشد تاریخ آن را نه فقط پس از ظهور اسلام، بلکه پیش از آن نیز بررسی کرد. بسیاری از منابع اسلامی کلاسیک، دوره پیش از اسلام در عربستان را با عنوان «جاهلیت» توصیف کرده‌اند؛ واژه‌ای تحقیرآمیز، که به معنای نادانی و ناآگاهی است. با این حال، برخی پژوهشگران تاریخ عربستان معتقدند جوامع پیش از اسلام، صرفا مجموعه‌ای از باورهای بی‌نظم نبودند، بلکه ساختارهای مذهبی، آیین‌ها و مکان‌های مقدس خاص خود را داشتند. آن‌ها ستاره‌شناسی و طب قدیمی نیز می‌دانستند و تقویم متفاوتی داشتند که مشکل عقب‌افتادن سال‌های قمری از خورشیدی را با اضافه‌کردن یک ماه اضافه به هر دوازده سال حل می‌کرد، ماهی که به دستور محمد، پیامبر مسلمانان، از تقویم حذف شد. 

به نظر می‌رسد کعبه در دوره پیش از اسلام، علاوه بر نقش مذهبی، کارکردی اجتماعی و میان‌قبیله‌ای نیز داشته است. برخی منابع تاریخی اشاره می‌کنند که قبایل مختلف عرب، که هر یک باورها یا خدایان مورد احترام متفاوتی داشتند، با کعبه و فضای پیرامون آن ارتباط داشتند. گفته می‌شود در این مکان، مجموعه‌‌ای از نمادها یا بت‌هایی وابسته به گروه‌های مختلف وجود داشته است. بعضی پژوهشگران احتمال داده‌اند که چنین فضایی، در کنار نقش مذهبی، می‌توانست به ایجاد نوعی پیوند یا همزیستی میان قبایل نیز کمک کند؛ هرچند تعبیر آن به عنوان «پلورالیسم» به معنای امروزی، ممکن است ساده‌سازی تاریخی باشد.

پس از گسترش اسلام و فتح مکه، منابع اسلامی نقل می‌کنند که پیامبر اسلام دستور حذف یا نابودی بت‌های موجود در کعبه را صادر کرد. در سنت اسلامی، این اقدام بخشی از گذار از چندخدایی به یکتاپرستی تلقی می‌شود و برای بسیاری از مسلمانان، نشانه اصلاح دینی و بازگشت به توحید به شمار می‌آید. با این حال، از منظر تاریخ ادیان، می‌توان پرسشی دیگر نیز مطرح کرد: وقتی یک سنت مذهبی جایگزین سنت‌های پیشین می‌شود، نابودسازی نمادها، آیین‌ها و حافظه دینی گذشته چه معنایی دارد؟

درباره خود بت‌ها نیز دیدگاه‌های مختلفی وجود دارد. برخی پژوهشگران معتقدند در بسیاری از فرهنگ‌های باستانی، بت‌ها الزاما خود خدا تلقی نمی‌شدند، بلکه می‌توانستند نماد، واسطه یا نماینده امر مقدس باشند. البته تعمیم این برداشت به همه قبایل و همه باورهای عربستان پیش از اسلام دشوار است. از این منظر، پرسشی فلسفی قابل طرح است: تفاوت میان یک نماد تصویری، مجسمه یا شیء مقدس با نمادهای نوشتاری یا دیگر نشانه‌های مذهبی چیست؟ مثلا تفاوت یک مجسمه به عنوان «نماد» با یک تابلو که روی آن کلمه «خدا» نوشته شده باشد چیست؟ هیچ کدام از این دو خدا نیستند، هر دو نماد یک ایده (خدا) هستند. در واقع حروف و کلمات چیزی جز نمادها نیستند. آیا همه سنت‌های دینی، به شکلی از نمادها برای بیان امر قدسی استفاده نمی‌کنند؟ پاسخ به این پرسش‌ها بسته به سنت دینی و نگاه الهیاتی، متفاوت خواهد بود.

تاریخ کعبه، شاید بیش از آن‌که تنها داستان یک بنا باشد، روایت تغییرات عمیق مذهبی و اجتماعی در شبه‌جزیره عربستان است؛ تغییری که برخی آن را گذار به یکتاپرستی می‌دانند و برخی دیگر، دگرگونی یک نظم مذهبی پیشین. اما کعبه می‌توانست تا حدی نشانی از تلاش‌های ریش‌سفیدان قبایل عرب برای نزدیک‌شدن به یکدیگر و کاهش درگیری‌های مبتنی بر ایمان میان خود نیز در نظر گرفته شود. در واقع سخت به نظر می‌رسد توجیه دیگری برای این یافت که چرا این گروه‌ها، با وجود رقابت‌های مذهبی که داشتند، حاضر شدند خدایان خود را در یک محل بگذارند.
گرچه محمد تمامی نمادهای مذهبی درون کعبه را نابود کرد و فقط یک خدا را به عنوان خدای معتبر معرفی کرد، اولین کسی نبود که دست به چنین کاری می‌زد. طی صدها سال پیش از اسلام منطقه‌ بین‌النهرین بارها شاهد جنگ میان شهرهایی بود که خدایان متفاوتی را به عنوان مدافع مردم ساکن خود معرفی می‌کردند. اگر شهری بر شهری دیگر پیروز می‌شد و آن را فتح می‌کرد، خدای شهر مغلوب را تحقیر یا نابود و خدای خود به جای آن به عنوان نماد روحانی و مدافع شهر معرفی می‌کرد. ایدئولوژی جدیدی که محمد برای عرب‌های روزگار خود آورد، در برابر چندخدایی روادار نبود. در این ایدئولوژی، همانند جریان تاریخی نابودی خدایان مغلوب، هر ایده یا روایت رقیبی از خدا باید کنار گذاشته می‌شد.
برخی ممکن است استدلال کنند که این دستور محمد برای این بود که به جنگ‌های دینی و رقابت میان خدایان پایان دهد و یک جامعه متحد شکل دهد که از خشونت مذهبی بر کنار است. به نظر می‌رسد دست‌کم در بخشی از جامعه مسلمانان این اتفاق تا حدی پس از محمد صورت گرفت. رقابت بر سر خدا در جامعه اسلامی پس از محمد پایان یافت، اما بر سر تفسیر این‌که خدا از ما چه می‌خواهد هنوز جنگ و درگیری صورت می‌گرفت. در واقع بزرگ‌ترین انشعاب اسلام، یعنی اسلام سنی و اسلام شیعه، در واقع بر سر این بود که آیا خدا می‌خواهد جانشینی محمد در خاندانش ادامه یابد یا خیر. در نتیجه حتی اگر هدف پیامبر مسلمانان از نابودی بت‌ها پایان درگیری بر سر خدا بود، درگیری بر سر تفسیر و روایت خدا پایان نیافت.