Не шутя: значение словосочетания в словаре Ефремовой

не шутя нареч. обстоят. качества

1. Не в шутку; всерьёз.

2. перен. С трудом, с приложением каких-либо усилий; не легко.