Hvor gammel Shiba er vet ingen med sikkerhet, men den er svært gammel. Det har moderne forskning med DNA nylig slått fast. Den tilhører gruppen av de eldste hundene vi kjenner til og regnes som den eldste av de japanske hunderasene. Navnet shiba refererer til noe som er lite på japansk, altså en liten hund.

Man har regnet med at Shiba opprinnelig stammer fra hovedøya Honshu, men typen må ha innvandret fra det sørøstre Asia, kanskje Korea. Dette er imidlertid den eneste av de japanske spisshundene som ikke opprinnelig var endemisk for et bestemt område. Den var derimot typisk for fjellstrøkene som vender mot Japanhavet. Det kan indikere at den også er den eldste av de japanske hunderasene.

Noen mener at den ble ført dit av et mongolsk folk som skal ha innvandret til disse øyene et par hundre år før Kristus, andre at den kom enda tidligere. Skjeletter som er funnet etter flere tusen år gamle hunder i de østre delene av Asia, viser at typen ikke har forandret seg i særlig grad. Shiba er også nært beslektet med chow-chow, kanskje som progenitor.

Shiba har trolig et opphav fra fjellstrøkene på øya, siden små hunder gjerne forbindes med høyereliggende strøk. Den var opprinnelig en jakthund for småvilt og fugl. Navnet shiba betyr liten og mange mener at størrelsen har gitt opphav til denne betegnelsen. Shiba kan imidlertid også bety kratt, og noen har antydet at den karakteristiske rødfargen på denne hunden kan ha sammenheng med fargen på bladene i krattskogen om høsten.

Opprinnelig fantes det tre varianter av shiba i Japan; såkalt shinshu shiba (som stammet fra områdene rundt Nagano), mino shiba (som stammet fra områdene rundt Gifu), og sanin shiba (som stammet fra de nordøstre områdene på Honshu). Alle tre typene har i større eller mindre grad gitt sine bidrag til dagens shiba, men forholdet dem imellom er ukjent. På 1920-tallet var rasen nesten utryddet, idet bare de tre nevnte linjene hadde overlevd. Utbruddet av andre verdenskrig og et utbrudd av valpesyke i 1959 gjorde sitt til at det møysommelige arbeidet med å redde rasen ble vanskelig. Etter utbruddet fantes det kun shinshu shiba i tilstrekkelig antall for avlsarbeidet, selv om også de to andre linjene ble benyttet i en viss utstrekning (så langt det var mulig av hensyn til innavl).

I Japan blir de nasjonale spisshundene gjerne sett på som varianter av samme hund. I 1928 ble foreningen til bevarelse av de japanske hundene stiftet. Under andre verdenskrig sank bestanden betraktelig, og etter krigen ble det nedlagt et stort arbeid fra klubben for å bygge opp igjen de forskjellige variantene. På grunn av urolige tider var det brukt for en liten vakthund, og shibaens popularitet steg fort.

I dag er den en populær selskaps- og vakthund, og den brukes fortsatt til jakt. I Japan kan opp mot 1 000 hunder delta på de store spesialutstillingene. Det var først etter krigen at rasen i nevneverdig grad ble eksportert, og da først og fremst til USA. I 1972 kom de første hundene til Europa, nærmere bestemt Sverige. Siden har rasen spredt seg over store deler av verden og populariteten øker stadig. Til Norge kom de første hundene i 1987