It was narrated from Ibn Umar:The Prophet used to touch only the Stone and the Yemeni Corner. (Sahih) Chatper 157. Touching The Two Yemeni Corners
أَخْبَرَنَا إِسْمَاعِيلُ بْنُ مَسْعُودٍ، وَمُحَمَّدُ بْنُ الْمُثَنَّى، قَالاَ حَدَّثَنَا خَالِدٌ، قَالَ حَدَّثَنَا عُبَيْدُ اللَّهِ، عَنْ نَافِعٍ، عَنِ ابْنِ عُمَرَ، أَنَّ رَسُولَ اللَّهِ صلى الله عليه وسلم كَانَ لاَ يَسْتَلِمُ إِلاَّ الْحَجَرَ وَالرُّكْنَ الْيَمَانِيَ .
Nesai
The Book of Hajj • Hadith 2948