出自とする依羅氏(よさみうじ、依網氏)は、 摂津国住吉郡大羅郷(おおよさみごう、現在の大阪府大阪市住吉区我孫子・庭井周辺)・河内国丹比郡依羅郷(よさみごう、現在の大阪府松原市天美地区周辺)付近を本拠とした古代氏族である。 一帯では、依羅氏の奉斎とされる式内名神大社の大依羅神社(大阪府大阪市住吉区庭井)が現在も鎮座する。 依網男垂見は、この依羅氏の祖先伝承上の人物と見る説がある。
依羅氏は初め「依羅我孫(依網吾彦)」姓を称したが、 西暦750年(天平勝宝2年)に「依羅宿禰」姓が賜姓された。 元の「我孫(吾彦)」は5世紀頃の地方官的官職名に由来するとされる原始的なカバネで、 阿毘古・阿弭古・吾孫とも表記される。 このカバネを有することから、 依羅氏を古い時期からヤマト王権と関係を持った氏族とする説もある。
この依羅氏に関して、 『古事記』では開化天皇皇子の建豊波豆羅和気王を「依網之阿毘古」の祖と記している。 一方『新撰姓氏録(摂津国皇別)』では開化天皇皇子の彦坐命を依羅宿禰の祖とし、 日下部宿禰と同族とする。 また『新撰姓氏録』では、 饒速日命を氏祖とする神別の依羅連・物部依羅連や、 百済国人の素禰志夜麻美乃君を氏祖とする諸蕃の依羅連らの記載もある。