It is narrated from Anas bin Malik (may Allah be pleased with him) that the Messenger of Allah (peace and blessings be upon him) forbade any man from using saffron.
Hadith Referenceمسند الإمام الشافعي / كتاب الحج / 847
Hadith Takhrijاخرجه البخاري، اللباس، باب النهي عن التزعفر للرجال (5846) ومسلم ، اللباس والزينة، باب نهى الرجل عن التزعفر (2101)۔