Константин Михайлович Сергеев родился 23 сентября 1920 года в г. Вятке. В 1937 году окончил среднюю школу в Москве. В том же году поступил в ВВМИУ им.Ф. Э. Дзержинского, к началу Великой Отечественной войны окончил полных четыре курса. 31 октября 1941 года вместе со своими однокурсниками был выпущен из училища досрочно с присвоением воинского звания инженер-лейтенант и направлен для продолжения службы в распоряжение командира Отряда учебных кораблей Волжской военной флотилии. В декабре 1941 года в г. Баку служил командиром группы движения электромеханической боевой части ПЛ «С-15» 10-го дивизиона ПЛ Каспийской военной флотилии. В марте 1942 года назначен командиром электромеханической боевой части ПЛ «М-214» в г. Горький.

В июне 1942 года К. М. Сергеев назначается инженером-механиком 4-го дивизиона катерных тральщиков Отдельной бригады траления Волжской военной флотилии. Он принимал непосредственное участие в боях за Сталинград с самого начала сражения и до ледостава на Волге в конце ноября. Корабли тралили фарватеры, по которым шла нефть из Баку в европейскую часть страны, перевозили с левого берега на правый войска и боеприпасы, а с правого на левый — раненых и мирных жителей.

В декабре 1942 года К. М. Сергеев направляется в г. Северодвинск командиром БЧ-V ПЛ «М-214». На строящейся ПЛ пробыл недолго. Уже в мае 1943 года он — командир моторной группы крейсерской Краснознаменной ПЛ «К-21» Северного флота, совершил на ней три боевых похода. В декабре 1944 года его назначили командиром БЧ-V ПЛ «С-15», на которой служил до января 1948 года. С января по октябрь 1948 года он проходил учебу на курсах повышения квалификации (ВКОС ИКС), которые работали при ВВМИУ им. Ф. Э. Дзержинского. После окончания курсов он был назначен в контрольно-приемный аппарат ГУК ВМФ в Ленинграде военным представителем на заводе «Звезда». В феврале 1951 года он поступил, а в марте 1955 года окончил кораблестроительный факультет Военно-морской академии кораблестроения и вооружения им. А. Н. Крылова.

Вся дальнейшая служба Константина Михайловича была неразрывно связана с проектированием и строительством первой и последующих ПЛ с атомными энергетическими установками. После окончания Академии он был назначен старшим военным представителем КПА ГУК ВМФ при СКБ-143 Минсудпрома, где осуществлял наблюдение за проектированием первой и последующих атомных ПЛ, а с января 1958 года он в той же должности служил и КПА ГУК ВМФ на заводе № 402 Минсудпрома в г. Северодвинске, где вел наблюдение за строительством и производил приемки выполненных работ на атомных ПЛ. Он участвовал в работе Правительственной комиссии по приемке первой атомной ПЛ в состав флота и подписал приемный акт комиссии и другие ее документы. За заслуги в проектировании, строительстве и испытаниях первой атомной ПЛ Константин Михайлович награжден орденом Красной Звезды.

В мае 1959 года К. М. Сергеев выдвигается на службу в центральный аппарат ВМФ в Москву: вначале он служит старшим офицером, затем заместителем начальника отдела Управления подводных лодок ГУК ВМФ. Его служба в Москве была неразрывно связана с решением организационных, технических и управленческих вопросов по атомным ПЛ. В мае 1970 года он назначается начальником отдела по контролю за работой военных представительств при заместителе Главнокомандующего ВМФ СССР по кораблестроению и вооружению. Он был первым начальником в этом вновь созданном отделе.

В декабре 1975 года Константин Михайлович уволился из кадров ВМФ в запас по болезни, но длительное время продолжал плодотворно работать в ГУК ВМФ по вольному найму.