日本國土的70%以上是山地,其中德島縣三好市的森林率為86%,可以說絕大部分都是山,尤其秘境的祖谷地區,祖谷地區一般而言指的是德島縣西南部的山間地區,與吉野河流域被山地分隔開來,形成獨自的地域性。 祖谷川的河谷由東向西延伸,東邊聳立著西日本第二高峰的劍山和一千公尺以上的高山,平原幾乎不存在,周圍是陡峭的懸崖,只有從群山延伸而下連接到河流的傾斜坡地。祖谷川的山谷很深,祖谷的東部被稱為奥祖谷,整個東祖谷有20多個集落,散佈在狹窄的山谷和山坡上,因為這樣的地形,很難開闢大規模的水田,因此這裡主要的農作物是煙草、蕎麥和造紙原料的三椏。特別是煙草葉,是主要的經濟作物。最典型的例子就是落合集落。
落合集落位於劍山西斜面與祖谷川交會的陡峭山坡,高低差約有390m,居民以一塊塊石頭堆砌起平台搭建居家與農地,過去由於河流湍急與外部的聯絡不便,山村居民保持獨自的生活習慣、習俗,以落合集落為首的東祖谷山村集落正確起源不明,自古傳說是平家落人的隱居之地。事實上在南北朝時代,劍山附近的有力山岳武士南朝方有三木氏、木屋平氏的原、菅生氏、西山氏、落合氏、德善氏,與北朝足利方的阿波守護細川氏戰爭的記錄。這些落合氏的武士名字,也作為東祖谷集落的名稱保留下來,因此東祖谷集落在中世紀時期即已形成,具有一定程度的可信度,而平家落人逃到祖谷落戶開拓的傳說,也是很有可能性。山村集落的獨特結構和根植於歷史的高價值,是村鎮體系中為數不多在2005年被列為重要傳統建築保護區域的原因之一。
在祖谷川對面的落合集落展望台可以眺望落合集落的全貌,從谷底的國道439號線到村落的入口雖然是陡坡,但之後羊腸小路繞著山體,通往距山谷約400米的集落山頂,但這是在迎接汽車社會之後才修建的,最早的是一條與斜面幾乎成直角的道路和一條直接向上延伸的等橫線道路構成。民宅就沿著那條橫道建造。 這些集落的里道也很好地保留其原始形態,據說這也是被指定為保存地區的一個主要原因。