Пещеры берега р. Лужи у с. Кременское находятся в обрывистом берегу реки Лужа и представляют собой группу карстовых известняковых пещер в нижнекаменно-угольных отложениях Протвинского горизонта. Верхняя пещера расположена под самым валом городища, и добраться до узкого входа в нее по крутому обрыву сложно. Другая пещера находится над первой, тесный вход ее ведет в грот, вдоль стен которого когда-то лежали каменные брусы. Третья пещера расположена в подошве обрыва у реки и, возможно, раньше она служила для захоронения; вход в нее жители завалили землей и камнями, так как подозревали, что она служит притоном разным ворам и разбойникам.
Растительность карстовых пещер и их ближайших окрестностей достаточно разнообразна. Большая часть территории представляет собой открытые луговые склоны южной экспозиции. На выходах известняка здесь очень обильно растет папоротник – пузырник ломкий; отмечены также очиток едкий и песчанка тимьянолистная – обычные растения различных обнаженных субстратов. Около них встречены виды, приуроченные к речным долинам: чесночница черешковая, земляника зеленая, фиалка опушенная, цирцея (колдуница) парижская и бодяк польский, впервые зарегистрированный на Луже. У берега реки среди черных ольх найдены редкий василисник желтый и более обычные в регионе смолевка двудомная, ежевика сизая и крестовник приречный.
Крутой берег реки Лужи с многочисленными выходами известняков является местообитанием кальцефитной бриофлоры, типичной для лесной зоны, с участием редких в Средней России петрофитно-ключевых видов. Преобладают здесь в основном виды эпигейной (напочвенной) и эпилитной (каменистые субстраты) группировок, среди которых типичные кальцефиты – Didymodon rigidulus и Didymodon fallax, Fissidens gracilifolius, Seligeria pusilla, Taxiphyllum wissgrillii. По отношению к влаге в окрестностях карстовых пещер встречаются представители всех групп – от ксерофитов (что связано с южной экспозицией склона) до гидрофитов (в реке и в родниках), среди которых один редкий для региона вид – Platyhypnidium riparioides.
Фауна пещер и их окрестностей немногочисленна, что объясняется малыми размерами и расположением в границах населенного пункта. Из земноводных и пресмыкающихся в их границах достоверно обитают тритон обыкновенный, жабы – зеленая и серая, лягушки – остромордая и травяная, ящерицы – прыткая и живородящая и уж обыкновенный. Из млекопитающих обычны бурозубка обыкновенная, еж белогрудый, крот европейский и мышь полевая. Изредка также встречаются лисица обыкновенная, горностай и ласка. Постоянное население птиц здесь отсутствует.
Всего в районе пещер отмечено 139 видов сосудистых растений, 28 видов мхов, 5 видов земноводных, 3 вида пресмыкающихся и 13 видов млекопитающих. Из редких и находящихся под угрозой исчезновения объектов растительного мира, занесенных в Красную книгу Калужской области, здесь произрастает только ринхостегиум речной.
Пещеры берега р. Лужи у с. Кременское являются уникальным геологическим объектом, имеющим особое научное и культурное значение. Кроме того, они прекрасно вписаны в окружающий ландшафт долины реки Лужа, поэтому представляют еще и большую эстетическую ценность.