拒否はできません。厳密に言えば断ることはできますが、最後には強制的に収用されてしまいます。

ずっと昔から住んでいる人には確かに気の毒です。新築一戸建を建てて最近引っ越しさてきたばかりの人も気の毒です。ですが、土地代のみではなく建物の補償もきちんとされます。立ち退きになって損はないように補償されますので大丈夫です。

なかにはわざわざ補償金目的でそういう土地を購入する人がいるくらいですから。