不倫していないのであれば、慰謝料を支払う必要はありません。
ただし、不倫していたと疑われる行為(ホテルでの宿泊など)がある場合、注意が必要です。相手に裁判を起こされ不倫が認められれば、慰謝料の支払いを命じられるケースもあります。