Ramainya pendatang justru memperburuk situasi, karena pulau ini menjadi target bagi kapal-kapal pedagang dan bajak laut yang mencari sarang walet.

Akibatnya, pada tahun 1779, VOC mengeluarkan perintah untuk mengosongkan pulau ini, alasan utamanya adalah untuk mencegah gangguan perdagangan VOC dan melindungi wilayah mereka.

VOC bahkan mengambil langkah drastis dengan membakar gua-gua yang menjadi sarang walet dan menyebarkan belerang agar burung walet tidak dapat tinggal kembali.

Akhirnya, semua warga dan burung walet pergi dari pulau ini.

Meskipun VOC pernah berusaha untuk menghidupkan kembali kejayaan Nusa Barong sebagai penghasil sarang walet, upaya mereka gagal.

Baca juga: Pulau Hantu Seluas 6.100 Ha di Jawa Timur Nasibnya Sunggu Miris Tak Berpenghuni: Padahal Dulunya Surga Sarang Walet

Bahkan para ahli yang dibawa ke pulau ini tidak mampu mengembalikan kondisi seperti semula. Sejak itu, Pulau Nusa Barong tetap tidak dihuni oleh manusia hingga saat ini.

Sebagai penanda dari masa kejayaan yang tak pernah kembali, Pulau Nusa Barong kini adalah sebuah saksi bisu dari zaman ketika sarang burung walet menjadi primadona perdagangan internasional, dan kemudian lenyap begitu saja, meninggalkan pulau ini kosong dan sunyi.***