בזמן נבואת ירמיהו היו יהודים שהאמינו שבית המקדש הוא מעין "ביטוח": הרי ה' לא ייתן לבית מקדשו להיהרס! אבל ירמיהו עומד בשערי בית המקדש ואומר לעם: (ירמיהו ז ד): "אַל תִּבְטְחוּ לָכֶם אֶל דִּבְרֵי הַשֶּׁקֶר לֵאמֹר הֵיכַל ה' הֵיכַל ה' הֵיכַל ה' הֵמָּה.". היכל ה' כשלעצמו לא מספק הגנה והוא הולך להיחרב, אלא אם תעשו תפנית מוסרית: (ירמיהו ז ה): "כִּ֤י אִם־הֵיטֵיב֙ תֵּיטִ֔יבוּ אֶת־דַּרְכֵיכֶ֖ם וְאֶת־מַעַלְלֵיכֶ֑ם אִם־עָשׂ֤וֹ תַֽעֲשׂוּ֙ מִשְׁפָּ֔ט בֵּ֥ין אִ֖ישׁ וּבֵ֥ין רֵעֵֽהוּ׃"

מדוע אין לסמוך על המקדש? כבר בציווי בניית המשכן בתורה נאמר: (שמות כה ח): "וְעָ֥שׂוּ לִ֖י מִקְדָּ֑שׁ וְשָׁכַנְתִּ֖י בְּתוֹכָֽם". על הפסוק הזה אומר אומר רבי חיים בן עטר ("אור החיים"): "ושכנתי בתוכם" ולא אמר בתוכו, שהמקום אשר יקדישו לשכנו יהיה בתוך בני ישראל". ללא נכוחות השכינה בתוך בני ישראל, השכינה לא שורה גם במקדש – שהופך לעצים ואבנים.

בתלמוד הבבלי (סנהדרין צו ב) מופיעה אגדה על נבוזרדאן מנהיג הצבא הבבלי שכבש את ירושלים והחריב את המקדש. כשהמצביא הגיע לשרוף את היכל ה', הוא שמע בת קול: "עַם הרוּג הרגת, היכל שרוף שרפת, קמח טחון טחנת". בזמן שהכובשים הגיעו השכינה כבר לא שרתה בבית המקדש, ונותר להם להרוס רק את החומר ממנו המקדש היה בנוי. אל לו להתגאות במעשיו יותר מדי.

אבל האם הקדושה נעלמה לגמרי מאז שהמקדש נחרב? זו מחלוקת שהחלה עוד בתקופת התלמוד, והאיסור להיכנס לחלקים מהר הבית בימנו נסמך על הדעה שקדושת המקום קיימת גם בזמן הזה.