当时杨义臣年幼，有官无职，被隋文帝收养在宫中，以卫士身份宿守宫廷。

其间，隋文帝不断对他进行赏赐，除赐姓杨外，还将他的名字编入皇家宗谱，作为自己的从孙对待。

杨义臣生性谨慎忠厚，善骑射，有将领之才，因此杨坚很器重他。

开皇十九年突厥达头可汗进犯边塞，杨义臣以行军总管身份，率领步兵、骑兵三万人马，出白道，与突厥军相遇，交战，大破突厥。