В толковых словарях русского языка слово «ворожей» имеет несколько значений. Вот основные:
ворожей м.
Тот, кто занимается ворожбой.