С той разницей – значение в словаре Ефремовой

с той разницей, что союз

Употребляется при присоединении придаточной части сложноподчиненного предложения, в которой указывается на различие с тем, о чём идет речь в главной части (при этом вычленяется наиболее существенная сторона различия).