言わないほうがよかったですか？

職場の片思いの人に告ったところ、態度に出やすい私やまわりに気を使うから仕事がやりにくくなると言われてしまいました。はっきりした返事はこれから話し合うのですが…風俗でのお店の人との恋愛は無理なんでしょうか。同じ経験を持つ方アドバイスください。