Рыжий в данном случае - крайний, виноватый, стрелочник. Говорящий с отведённой ему ролью не согласен....
Жгучий глагол: Словарь народной фразеологии. — Зеленый век. В. Кузмич. 2000.
Жгучий глагол: Словарь народной фразеологии. — Зеленый век. В. Кузмич. 2000.