正史で最初の大臣と見なされているのは成務天皇の時代の武内宿禰である。 その後は、武内宿禰の後裔（葛城氏、平群氏、巨勢氏、蘇我氏など）が大臣の地位を継いだ。
「大臣（オホマヘツキミ）-臣・卿・大夫（マヘツキミ）」という政治体制は、 百済、高句麗、新羅に共通する政治体制（「大対盧-対盧」など）に影響を受けて成立したと考えられる。
『日本書紀』では、 武内宿禰一人が成務天皇、仲哀天皇、応神天皇、仁徳天皇の四世代の天皇に大臣として仕えたとされている。 あまりに長寿とされたため、架空の人物と見なす説もある。
宝賀寿男は、実際には成務天皇から仁徳天皇までが三世代であり、 同書における武内宿禰の活動も武内宿禰と葛城襲津彦の親子を、 一人の人物として合体したものと主張した。
大臣は、各大王の治世ごとに親任され、 反正天皇から安康天皇までの治世に当たる5世紀中期には葛城円が、 雄略天皇から仁賢天皇までの治世に当たる5世紀後期には平群真鳥が、 継体天皇の治世に当たる6世紀前期には巨勢男人が、 敏達天皇から推古天皇までの治世に当たる6世紀後期から7世紀初期には蘇我馬子が、 それぞれ大臣に任命された。 蘇我馬子が大連である物部守屋を討った丁未の乱後は大連制が事実上廃されたために馬子が単独の執政官となり、 以降は蘇我氏が政権の中枢を担うようになった。 また、聖徳太子による冠位十二階の制定時、 蘇我馬子は聖徳太子とともに推古天皇の王権を代行する授与者の立場に回ったことで蘇我氏の大臣は被授与者である群臣とは別格の政治的地位を築いた反面、 群臣合議から乖離した結果、 他の豪族たちからは孤立して後に蘇我氏宗家が滅亡する遠因となったとする指摘もある。
推古天皇の晩年、 大臣は蘇我蝦夷（蘇我馬子の子）が跡を継いだ。 皇極天皇の治世に当たる西暦643年（皇極天皇2年）、 蘇我蝦夷は息子の蘇我入鹿に大臣の冠である紫冠を授けて独断で大臣の地位を譲った。 大臣の地位のみが冠位制に拘束されず、 旧来通り認められることは内外の反発を招いた。 西暦645年（皇極天皇4年）、 いわゆる乙巳の変により、蘇我入鹿は暗殺され、父の蘇我蝦夷は自死し蘇我氏の隆盛は終わった。
この乙巳の変の直後に即位した孝徳天皇は、 大臣に代って左大臣と右大臣を置き、 権力集中の防止を図った。 ただし、新しく左右大臣に任じられた阿倍倉梯麻呂（内麻呂）・蘇我倉山田石川麻呂に授けられていた冠は従来の大臣が着用していた紫冠であったと考えられ、 西暦648年（大化4年）に大臣にも冠位十二階（前年に制定）に基づく冠を与えようとしたところ、 左右大臣がこれを拒んで旧冠（紫冠）を着用し続けた（『日本書紀』大化4年4月辛亥朔条）とあることから、 初期の左右大臣は群臣合議体の一員に戻りながらもなお旧来の大臣の影響を残していたとみられている。 左右大臣を冠位制に基づく官人秩序に組み込むことが実現するのは、 阿倍・蘇我が死去した西暦649年（大化5年）以後のことである。