其原因主要有两个方面，一方面是阴阳师修炼艰难，非常看重人的天赋，这也导致有实力的阴阳师非常罕见，但是一旦修成，其实力就会暴涨到一个非常恐怖的境界。

另一方面，阴阳师所发展的路线与一般武者不同，武者主修气血，而阴阳师所修的是术法，擅长沟通天地元素以及控制式神作为攻击手段。

由于其手段看起来太过神异，为了避免惊扰世俗，一般阴阳师家族选择避世不出，隐居修行，这也导致阴阳师这种职业几乎为世人所忘却。