Sa'id ibn Ubaydah said:Ibn Umar heard a man swearing: No, I swear by the Ka'bah. Ibn Umar said to him: I heard the Messenger of Allah (ﷺ) say: He who swears by anyone but Allah is polytheist.
حَدَّثَنَا مُحَمَّدُ بْنُ الْعَلاَءِ، حَدَّثَنَا ابْنُ إِدْرِيسَ، قَالَ سَمِعْتُ الْحَسَنَ بْنَ عُبَيْدِ اللَّهِ، عَنْ سَعْدِ بْنِ عُبَيْدَةَ، قَالَ سَمِعَ ابْنُ عُمَرَ، رَجُلاً يَحْلِفُ لاَ وَالْكَعْبَةِ فَقَالَ لَهُ ابْنُ عُمَرَ إِنِّي سَمِعْتُ رَسُولَ اللَّهِ صلى الله عليه وسلم يَقُولُ " مَنْ حَلَفَ بِغَيْرِ اللَّهِ فَقَدْ أَشْرَكَ " .
AbuDaud
Oaths and Vows (Kitab Al-Aiman Wa Al-Nudhur) • Hadith 3251