芦谷内藤家の始祖が三河に移り住んだ時期については諸説あるが、明応３年（１４９４）に内藤重清が安祥（現安城市）の松平親忠に属したとされる。重清の子義清は岡崎五人衆の一人として碧海郡上野下城（現豊田市）の城将になったと言われている。
　内藤家は義清、その長男の清長、次男の忠郷、三男の勝重、またその子たちが德川家康に仕え、関ヶ原の戦いや大坂夏の陣までの多くの合戦に参陣した。
　長男清長、次男忠郷の子孫は幕末には合わせて６つの大名家となり、德川家臣団の中で重要な役割を務めた。

　芦谷内藤家の初代である内藤勝重（政重）は義清の三男で、永正１５年（１５１８）、三河国芦谷村に所領を得て芦谷村に移ったと伝えられる。
　勝重の妻、松は家康の乳母である。

　二代目政直（重政）の嫡男、左平政勝は忠吉が改易となった後、そのまま新漬須城主の德川義直に仕え、名古屋城に移って代々尾張藩士となった。芦谷村は次男の正綱が継いでいる。なお、政直の三男高康、四男政成は水戸藩士となった。

　三代目正綱は、慶長１７年（１６１２）に深溝松平氏が深溝（現愛知県幸田町深溝）から吉田（現愛知県豊橋市）に移封したときに２４０石（後に加増して４６０石）の旗本として独立し江戸に住んだ。

　この時、正綱の弟政成（水戸藩士）の次男直政は祖父政直の養子となり駿府にいて家康に仕えていたが、芦谷村で代官となるため、長男政道に駿府での家督を継がせ、三男の政勝を連れて芦谷村へ移り住んで四代目となった。

　その後、芦谷内藤家は五代目政勝、六代目政重（政勝の祖父正綱の妹の子を養子とする）と代々続き、現在の十六代目が今も芦谷の屋敷に住んでいる。