人を入れては、いけません…？

[匿名さん]

今月２月に、２階建ての１階部分に大家さんが住む、新築の１Ｋのアパートに引越したばかりです。
たまに彼氏が泊まりに来て、朝、一緒に家を出ることがあります。
その時、大家さんが私達の姿を何度か見かけて、不動産会社に注意にいかれたそうです。「親戚以外を家に招くのは、やめて、会う時は、相手の家に行ってほしい」と大家さんが言ってきたそうです。
不動産会社の担当者も、「たぶん、彼氏さんのことだと思うのですが、入居の条件にも、人を入れてはいけないとは、言ってないので、私も強く言えないのですが、大家さんがかなり気になさる方なので…」と言います。
もちろん、一緒に住んでいませんし、彼氏以外の友達を家に入れたことはありません。
入居時の条件で、人を入れてはいけないとあれば、契約はしませんでした。契約後、このように注意をうけた場合、大家さんの言う通りにしないとまずいのでしょうか？

学生では、ないですし、ここまで言われてしまうと、引っ越さないといけないかな…とも思っています。
少しでも、アドバイスをいただけないでしょうか。
宜しくお願い致します。