建久4年（1193年）、源頼朝が奥州征伐の帰途、当地の入り江の松に船をつないで波風が静まるのを待つ間に仮眠したところ、夢に菅原道真公が牛に乗って現れ「二つの喜びがある」と告げた。目覚めると牛の形をした石があり、その後まもなく嫡男・頼家が誕生し平氏を西に追うことに成功したことから、頼朝がこの地に社殿を造営して菅公を祀った。「牛天神」の名は夢に現れた牛に由来し、撫で牛の風習は当社が発祥ともいわれる。境内の太田神社は、かつて「貧乏神」として恐れられた黒闇天女を祀っていたが、貧乏神を追い払うことで金運が上がるとの逆転の発想で人気。東都七天神の一つ。春日の高台に鎮座し小石川後楽園・東京ドームにも近い。