Село Кривче відоме з 1565 року. Походження назви пов’язують із крутим звивистим старим трактом (дорогою).
У 1639 році тодішні власники поселення Контські на високому лівому березі річки для контролю шляху, що вів до Дністра, побудували замок: чотирикутний у плані, із чотирма баштами, з’єднаних між собою муром 7 метрів заввишки та 2 метри завтовшки.
В’їзна брама вела до палацу, що був прибудований до західного замкового муру. Для надійнішої оборони навколо трьох сторін фортеці були викопані сухі рови, а з четвертого, північного, боку її захищало стрімке урвище. У той час замок вважався одним із найкраще укріплених на Західному Поділлі. Незважаючи на це і туркам, і татарам, і козакам не раз вдавалося його захоплювати.
Після першого поділу Речі Посполитої 1772 року замок втрачає оборонне значення і слугує тодішнім власникам Голеєвським резиденцією. У середині ХІХ ст. споруду викупили і розібрали замкові будівлі для спорудження гуральні та господарських приміщень. У 1946 році місцева влада розібрала фортечні стіни та в’їзну вежу для будівництва дороги.
Реставрувати замкові споруди та навіть створити невеликий туристичний готель намагались у 20-х роках ХХ ст. На початку 90-х років місцеве сільгосппідприємство провело часткове відновлення замку: розчистили від землі і сміття дві башти, вкрили одну з них гонтовим дахом та відбудували між ними мур товщиною 1,3 метри і висотою 4 метри.
Найвідомішим туристичним магнітом Кривче є гіпсова печера Кришталева, відома з 1721 року. Свою назву вона отримала завдяки гіпсовим утворенням – різнокольоровим кристалам. Температура в печері впродовж року становить близько 11°C. Загальна довжина розвіданих на сьогодні ходів сягає 23 кілометри. Довжина туристичного маршруту складає 2,5 кілометри. Для його проходження не потрібно спеціального одягу і взуття, а широкі та обладнані світлом ходи і зали роблять Кришталеву однією із найвідвідуваніших в Україні.
