Köyün adı burada bulunan kalenin adından geliyor. Hendek-Düzce arasındaki Efteni Vadisinin batı ucundadır. Aksu Deresi bulunduğu tepenin arasından akmaktadır. Kale, yöredeki diğer kaleler gibi yığma taştan yapılmıştır. Kadife adının verilmesi; yörede daha ılıman iklimden dolayıdır. Kalenin kontrol ettiği arazi Demetrium diye tanımlanmaktadır.

Güney köyü zamanında, Kadifekale'nin bir mahallesi idi.1969'da muhtarlık ayrılarak Güney köyü adını almıştır.
Köyümüz 1975'te yeni yoluna kavuşmuştur, 1976'da elektriğe, 1995' te telefona kavuşmuştur. 2007'de köyümüzün yolunun büyük bir  bölümü  asfaltlanmıştır.