当社は大吉備津彦命を主神とし、その異母弟の若日子建吉備津日子命と、その子吉備武彦命(キビタケヒコノミコト)等、一族の神々を合わせ祀っております。大吉備津彦命は第七代孝霊天皇の皇子にあたられ、もとのお名前を五十狭芹彦命(イサセリヒコノミコト)と申し上げ、武勇の誉れ高いお方であられます。

一説によりますと、第十代崇神天皇の御代、災害もなくなり天下もようやく治まってまいりましたが、都から遠く離れた地方には未だ朝廷に従わない者が多数おりました。そこで天皇即位十年に皇族の中から四人の将軍を選び、印綬を授け各地方に派遣し討伐することとなりました。すなはち、北陸道には大彦命(オオヒコノミコト)、東海道には武渟別命(タケヌナワケノミコト)、丹波には丹波道主命(タニハノミチヌシノミコト)、そして西道(後の山陽道)には大吉備津彦命が派遣されることとなりました。吉備津彦命と異母弟若日子建吉備津彦命は兵を率いて山陽道を進軍し、まず播磨国に達してここを｢吉備の道口｣と定められ加古川の畔で神祭を行っております。

その場所と思われるところに日岡神社が現存し天伊佐々比古命がお祀りされています。こうして命は吉備国に入り、人々を苦しめ鬼と恐れられていた温羅一族を苦戦の末退治することができ、この地方に平和と秩序をもたらしたと云われております。

当社がいつごろ誰によって造営されたのかについては、文献もなく確かなことは分かりませんが、ただ言い伝えによると、一説に吉備津彦命から五代目の孫にあたる加夜臣奈留美命(カヤオミナルミノミコト)という人が祖神として吉備津彦命をお祀りしたのが起源であると云われております。

また一説に若建日子吉備津彦命から三代目の孫と云われる稲速別命(イナハヤワケノミコト)･御友別命(ミトモワケノミコト)･鴨別命(カモワケノミコト)が始めて社殿を造りお祀りしたとも云われます。さらに一説に仁徳天皇が吉備海部直の娘である黒媛を慕ってこの地に行幸したときに、吉備津彦の功績を聞き称えるために社殿を創建してお祀りしたのが起源とも伝わっております。