由緒１
嘉祥元年（８４８）８月に記された当宮の由緒を要約すると、「天平１８年、越中国守、大伴家持が奈呉の浦を遊船中、にわかに風が強くなり、波濤高く船の舷に激しくうちつけた。家持は、掌で潮水を掬い、両手を合わせてひたすらに宇佐八幡神に祈願した。すると、たちまち順風に変わり、無事国府に帰ることができた。そこで、家持は、天平１９年８月に、本殿、拝殿、七堂伽藍を建立し、宇佐八幡神を勧請した。・・・」というもの。家持は、強風で船が転覆しそうになり、命の危険にさらされたが、宇佐八幡神のご加護により助かったということが語られている。
当時は、朝廷の宇佐八幡宮への信仰が高まっている時期である。天平１７年（７４５）に、聖武天皇が病気に罹られ重篤な症状に陥られた。朝廷では、宇佐八幡宮に聖武天皇の病気平癒祈願を行った。その甲斐あって聖武天皇の病気が快復した。
天平１９年（７４７）新年早々、家持は、重病に罹り病床に着くことになる。家持自身、命の危険を感じていたことが万葉集から窺える。正倉院文書によると、２月２３日に、佐保の大伴家では氏寺で、十一面観音菩薩に家持の病気平癒祈願を行ったという記載がある。家持の重病の報が奈良の大伴家にも伝えられていたことが分かる。２月２９日に、家持が越中掾、大伴池主に宛てた書簡によると、「百神に祈り、ようやく病が小康状態になった。・・」という趣旨のことが書かれている。家持が祈った百神の筆頭に、聖武天皇の病気平癒に霊験のあった宇佐八幡神がおられたのではなかろうか。
家持作の「あゆの風 いたく吹くらし 奈呉の海人の 釣する小舟 漕ぎ隠る見ゆ」の歌に詠まれているように、奈呉にはすでに海人の集落があり漁業を営んでいたことが窺える。奈呉は当宮の鎮座地である。家持は、国守として海人の暮らしぶりに関心を持ち、実際に舟に乗って海人の暮らしぶりを見廻られたに違いない。そして、海人の暮らしの安寧と海幸の豊かなことを祈られたと考えられる。
この由緒には、家持の強い祈願によって宇佐八幡神が勧請されたことが背景にあると考えられる。当宮は、家持によって創建され、当初は奈呉八幡宮と称されていた。
由緒２
文化１３年（１８１６）に建立された大伴宿禰家持卿顕彰碑(おおとものすくねやかもちきようけんしようひ)による当宮の由緒は、『天平１８年８月のある夜、家持の夢に貴女が現れ、「私を祀れば、世の中が平和になるあろう。」とのお告げがあった。家持が貴女に名前を尋ねたところ「私はこの地域を治める道主貴(みちぬしのむち)」と答えられたという。このことを家持が国府の館で話したところ、介内蔵忌寸縄麻呂(すけくらのいみきなわまろ)と大目秦忌寸八千島(だいさかんはたのいみきやちしま)も同じ夢を見たという。それで、天平１８年８月庚寅(かのえとら)日、祠を建てて祀った。』とある。この由緒は、当宮の建立に国府の役人達が関わっていたことを物語っていると考えられる。
大伴家持が越中国守として赴任してきた頃、聖武天皇の発願により東大寺の大仏建立が国家的事業となっていた。宇佐八幡宮のご神託があり、宇佐八幡神みずから、天神地祇を率いて大仏建立に協力するというお告げであった。天平１７年（７４５）には、東大寺の大仏の建立が始まった。
天平１８年（７４６）に越中に赴任した家持の重要な任務のひとつは、東大寺の寺領を占定し、開墾を進めることであった。正倉院に東大寺墾田地地図(とうだいじこんでんちちず)が保管されている。２４枚のうち、１７枚までが越中国のものである。現存する墾田地地図の中で越中国のものが最も多い。万葉集によると、家持は、東大寺領の占定と開墾のようすを視察にやってきた東大寺僧・平栄を丁重に迎え、歌を送り宴を催している。また、越中の国師の従僧・清見をもてなす宴を催している。家持ら国府の役人達は、東大寺の墾田地の占定や開墾に奔走していたと考えられる。後に、内蔵忌寸縄麻呂(くらのいみきなわまろ)は、造東大寺司判官に任命されている。この人事は、越中国での東大寺領の占定作業に携わった実績が反映しているものと考えられる。
秦忌寸八千島(はたのいみきやちしま)は、秦氏の出身である。秦氏は、内蔵氏と同様、その先祖が應神天皇の御代に渡来してきた人々の子孫である。当時の小目(しようさかん)は、秦忌寸石竹(はたのいみきいわたけ)であり同じ秦氏の出身である。秦氏は、精銅の技術をもった人々であり九州の北部に多く定住した。宇佐八幡宮の神職のひとつであった辛島氏は、秦氏の一支族であるという。
この由緒は、本殿に収められていたものであり、当宮の由緒とともに家持卿の功績を後世に伝えるために石碑に刻んだと記されている。