司马懿少有才名，与他的八个兄弟，号称“司马八达”，司马懿排行第二，故小字为仲达。司马八达的父亲司马防，官居京兆尹之位，在曹操的麾下效力多年，如今便是司马防代替曹操，镇守在许都。

对司马懿的名声，曹操早就有所耳闻，曾数次征召司马懿到邺城任职，均被司马懿以年纪尚轻，难当大任为由委婉的拒绝了。直到司马懿年满二十岁，曹操第三次征召他，司马懿无法再推辞，只好前往邺城，在曹操的麾下担任文学掾之职，成为了曹操魏公府下的一名属官。