Joe Armas, adversidades en España