彼が昔体の関係を持っていた女友達と連絡を続けています。気にしすぎでしょうか？

私42歳、彼38歳で、付き合って約1年です。彼には、お互いに恋人がいない時期に何度か体の関係を持っていた女友達がいます。

数か月前、その人と会って散歩してもいいか聞かれました。少し驚きましたが、いいと答えました。結局その散歩は実現しませんでしたが、その後も週に何度かだったり、1か月空いたりしながら連絡を取っています。私が見た限り、普通の友達同士の会話です。ただ、彼は会おうと誘っていて、彼女のほうが私たちの関係に遠慮しているように見えます。

「会いたいな。大事に思っているよ。元気？」というようなことを送る一方、普通の雑談もしています。正直、昔体の関係があったというだけで私は落ち着きません。切り倒された変な形の木や、飲み会で男友達と撮った写真など、私にも送ってくる日常の写真を、その人にも送っています。

ずっと気になっていて何度か話したのですが、いつも「散歩も駄目なの？」「君と同じように好きなわけじゃない」と言い争いになります。

最近のけんかで、私が「私が本命の彼女で、その人は軽めの彼女ということ？」と言ったら、酔って怒っていた彼は「そうだ」と答えました。そのとき初めて、その女性を「元カノ」と呼んだんです。これまでは付き合ったことはない、そういう関係ではないと言っていたのに。

話を出すたびに、むきになるか黙り込むかです。「こんなに人を愛したのは初めて」とは言いますが、私はどんどん不満がたまっています。どうしたらいいでしょうか。