לכאורה, אין בכלל מקום לשאלה. אנו מורגלים לחשוב שהמצוות התורה חלות על יהודי ללא קשר למיקומו, פרט למצוות ספציפיות (כגון שמיטה) שנהוגות רק בארץ ישראל. אך מתברר שהשאלה אכן עמדה ברצינות גמורה בפני החכמים. להלן הפירוש שנכתב במדרש (ספרי עקב פסקה מג):
אע"פ שאני מגלה אתכם מן הארץ לחו"ל, היו מצויינים במצות; שכשאתם חוזרים לא יהיו לכם חדשים. משל למלך שכעס על אשתו, וחזרה בבית אביה. אמר לה: הוי מקושטת בתכשיטיך, וכשתחזרי לא יהיו עליך חדשים. כך אמר להם הקב"ה לישראל: בני, היו מצויינים במצות, שכשאתם חוזרים לא יהיו עליכם חדשים, שירמיהו [הנביא] אמר (ירמיה לא) "הציבי לך ציונים" – אלו המצות שישראל מצויינים בהם.
לפי פירוש המדרש, הקיום האמתי של עמנו הוא רק בארץ! המצוות בחו"ל הם רק "ציונים", מעין תזכורת על מנת שלא נשכח אותן חלילה עד שנחזור לארץ. גם רש"י בפירושו לתורה כותב (על בסיס המדרש שהבאנו): "אף לאחר שתגלו היו מצויינים במצוות: הניחו תפילין, עשו מזוזות, כדי שלא יהיו לכם חדשים כשתחזרו." אז תפילין ומזוזה בחו"ל: כן, כדי שנמשיך את המסורת בגלות, עד שנזכה לחזור לארץ, שם לחיים שלנו בכלל ולקיום המצוות בפרט יש ערך אמתי.