"The Prophet left me while he had a joyous look of contentment and he returned to me grieving. So I asked him about that and he said: 'I entered the Ka'bah, and I wished that I had not done it. I fear that my Ummah will follow me (in that) after me.'"
حَدَّثَنَا ابْنُ أَبِي عُمَرَ، حَدَّثَنَا وَكِيعٌ، عَنْ إِسْمَاعِيلَ بْنِ عَبْدِ الْمَلِكِ، عَنِ ابْنِ أَبِي مُلَيْكَةَ، عَنْ عَائِشَةَ، قَالَتْ خَرَجَ النَّبِيُّ صلى الله عليه وسلم مِنْ عِنْدِي وَهُوَ قَرِيرُ الْعَيْنِ طَيِّبُ النَّفْسِ فَرَجَعَ إِلَىَّ وَهُوَ حَزِينٌ فَقُلْتُ لَهُ فَقَالَ إِنِّي دَخَلْتُ الْكَعْبَةَ وَوَدِدْتُ أَنِّي لَمْ أَكُنْ فَعَلْتُ إِنِّي أَخَافُ أَنْ أَكُونَ أَتْعَبْتُ أُمَّتِي مِنْ بَعْدِي . قَالَ أَبُو عِيسَى هَذَا حَدِيثٌ حَسَنٌ صَحِيحٌ .
Tirmizi
The Book on Hajj • Hadith 873