Ce n'est que mon avis mais :
Ça fait un peu politiquement incorrect, ou peu respectueux. Si je dis "un handicapé", hors de son contexte, ça fait méprisant, comme l'expression "a retard" en anglais. On dirait plutôt "une personne handicapée" ou "il est handicapé".
Sans pouvoir bien expliquer, "une personne handicapée" ou "il est handicapé" c'est un problème qu'il a au quotidien, mais pas quelque chose qui le défini dans sa nature profonde.