本神社的主祭神是大吉备津彦命，同时供奉着其异母弟若日子建吉备津日子命，以及其子吉备武彦命等吉备氏一族诸神。大吉备津彦命，传说中第七代孝灵天皇的皇子，原名五十狭芹彦命，是以勇猛著称的武将。

据说，在第十代崇神天皇时期，天下太平，风调雨顺，国家大一统局面亦已形成。但是，因为边远地区仍有许多尚未归附朝廷的吏民，于是天皇于即位十周年之际，在皇族中挑选了四位将军赐予印绶，命其率军前往各地进行讨伐：派大彦命进攻北陆道；派武渟别命攻向东海道；派丹波道主命进攻丹波；派向西道（之后的山阳道）的则是大吉备津彦命。吉备津彦命与其异母弟若日子建吉备津彦命率兵进军山阳道，首先到达播磨国，将此地定为“吉备之道口”，并在加古川畔上举行了祭神仪式。

被认为曾经举行了祭神仪式的地方就是现在的日冈神社，供奉着天伊佐佐比古命。据说，吉备津彦命就如此进入了吉备国，大战令民众苦不堪言的温罗恶鬼一族并为民除害，给当地带来了和平与秩序。

关于本神社始建的确切年代及建造神社的人物，因无文献记载而无从稽考，但根据民间传说，其中一说为吉备津彦命的第五代孙子加夜臣奈留美命首次建造了社殿以祭祀自己的祖宗神吉备津彦命。

另一说为若建日子吉备津彦命的第三代孙子稻速别命、御友别命、鸭别命首次建造了社殿以祭祀祖先。还有说法称，当年仁德天皇因倾心于吉备海部直的女儿黑媛而驾临此地时，听闻吉备津彦的事迹后大为感动，为了纪念他的丰功伟绩，便创建社殿祭祀才是本神社的起源。