Карл Опперман родился в 1765 году в г. Дармштадт (Германия). Происходит из дворянского рода герцогства Гессен - Дармштадт. Сын тайного советника. Получил инженерное и математическое образование. Владел четырьмя иностранными языками: немецким, французским, латинским, греческим и русским. В 1779 году поступил в гессенскую армию и в 1883 году получил чин инженер-капитана. В том же 1883 году он обратился к российской императрице Екатерине второй с прошением о принятии в российское подданство и 12 октября 1783 года был принят на русскую военную службу в чине поручика инженерного комплекса. Участник русско-шведской войны 1789-90 годов. За отличия в в бою у Бьоркезунда награжден орденом св. Георгия 4 степени. В 1794 году участвовал в подавлении восстания Т. Кастюшко в Польше. 

      В 1795 году разработал план укрепления западных границ российской империи. 

      В 1797 году назначен состоять при депо кард. В том же 1797 году был зачислен в инженерную экспедицию военной коллегии и 6 марта 1798 года произведен в полковники. В мае 1799 года вышел в отставку из-за столкновения с А.А. Аркачевым (русский государственный и военный деятель). Вскоре был возвращен Павлом первым на службу и 3 октября 1799 года получил чин генерал - майора. 5 октября 1800 года был возвращен на службу и определен в Депортамент водяных коммуникаций. 15 апреля 1801 года был назначен в Собственный Его Величества Депортамент и зачислен в свиту императора. В марте 1803 года коммандирован в Финляндию для улучшения оборроноспособности приграничных крепостей. Принимал участие в составлении подробной карты России. 

       6 января 1805 года был коммандирован в Италию с секретным заданием осмотреть французские укрепления. Официально исправлял должность генерал - квартирмейстра русских, английских и неаполитанских войск, действовавших в Италии против фанцузов. В 1806 - 1807 годах принимал участие в войне с французами в Польше и Восточной Пруссии. В составе корпуса генерала Эссена участвовал в сражениях при Острове и Остроленке. В 1807 году, в следствии разрыва с Англией, ему было поручено привести в оборонительное состояние Кронштадт. Во время русско - шведской войны 1808 - 09 годов руководил обновлением укреплений Выборга, Нейшлота и Тавастгуста. С 1809 года инспектор Инженерного депортамента Военного министерства. В 1810 году сосздал в Петербурге школу инженерных кондукторов, которая в 1819 году была преобразована в Главное военное училище. 

       В 1810-1811 г.г. генерал-майор К. Опперман руководил строительством крепостей в г. Динабурге (современный г.Даугавпилс, Литва) и г. Бобруйске. 30 августа 1811 года произведен в инженер - генерал - лейтенанты. С 28 февраля 1812 года директор инженерного депортамента. В марте 1812 года был определен начальником инженерной службы 1 - й западной армии.  В 1812 году занимался вооружением крепостей от Риги до Киева. В октябре 1812 года назначен также состоять при Главной квартире русской армии, фактически контролировал инженерные войска (и их снабжение) действующей армии. Участвовал в сражениях при Бородино, Малоярославце, Красном.

       В 1813 году руководил инженерными работами при осаде крепости Торн (на территории современной Польши). После ее капитуляции награжден орденом св. Гергия 3-й степени. После этого был начальником штаба польской армии под командованием Беннигсена. Участвовал в осаде Модлина (недалеко от Варшавы).  C июля 1813 года начальник Главного штаба полевой армии. Принял участие в сражениях при Дрездене, Пирне, битве под Лейпцигом, осаде Магдебурга и Гамбурга.

     По окончании войны занимался устройством инженерного депортамента, формированием саперных и пионерных войск и управлял строительной частью по всем крепостям России. С 1818 года Карл Опперман стал деятельным помощником Великого князя Николая Павловича по управлению инженерной частью. С 20 января 1818 года генерал - инспектор по инженерной части, принимал большое участие в учреждении Главного инженерного училища. При Николае первом был членом комитета для организации строительной части и председателем комитета для улучшения воспитательной части в кадетских корпусах; заведовал также строительным департаментом и артеллерийским училищем.  12 декабря 1823 года был произведен в инженер-генералы. 20 декабря 1826 года стал почетным ченом Российской Академии наук, был почетным членом Российского Менералогического общества. С 1827 года член Государственного совета. 1 июля 1829 года Николай 1 присвоил ему графский титул, через год – наградил высшим орденом Св. Андрея Первозванного.

      В 1830 году ему было поручено составить проект реконструкции Свеаборгской крепости (в Швеции), подроге заболел халерой и умер. Похоронен в Птербурге на выборгском халерном кладбище, расположенном на Куликовом поле. 

       У К.И. Оппермана было двое сыновей. Старший Александр Карлович Опперман также был генералом русской армии и с отличием воевал на Кавказе, младший сын Леонтий Карлович Опперман с отличием участвовал в Крымской войне. 

        После смерти графа К. Оппермана в 1831 г. его имя было присвоено новой оборонительной башне в Бобруйской крепости.