Не остаться въ долгу (иноск.) отомстить.
Ср. Мнѣ мститъ... хорошо, я въ долгу передъ нимъ не останусь.
А. А. Соколовъ. Тайна. 23.
Русская мысль и речь. Свое и чужое. Опыт русской фразеологии. Сборник образных слов и иносказаний. Т.Т. 1—2. Ходячие и меткие слова. Сборник русских и иностранных цитат, пословиц, поговорок, пословичных выражений и отдельных слов. СПб., тип. Ак. наук.. М. И. Михельсон. 1896—1912.