『副島伯閑話』には、副島の兄枝吉神陽の尊皇思想が明確に示されている。特に注目されるのは、高山彦九郎・蒲生君平の影響である。副島は神陽について以下のように語っている。
　「是は唯性質純粋の勤王家であつた」
　「是は勤王家であるから、奸雄のことは一口も褒むることは嫌ひである」
　「矢張兄も高山蒲生等が好きで、其伝を自ら写して居られた、其中蒲生の著述には殊の外服して居られた、職官志、山陵志、それから不恤緯と言ふやうな蒲生君の著述がある、それから、蒲生の詩集も写して居られた」
　ここで、編者の片淵琢は「左に高山蒲生両士の伝を掲げて、世上同好の人士に示す」と述べ、28ページに及ぶ伝記を載せている。これは、枝吉神陽・副島種臣に対する高山彦九郎・蒲生君平の影響の大きさを物語っている。
　さらに、副島は神陽について以下のように語っている。
　「昌平校で日本書を読むやうなことを始めたのは兄である。是れは間違は無いとこで、佐賀の国学教諭と云ふ者になつて居られた時、皇学寮と云ふものを起されて矢張日本の書を研究する寮を一つ設けられた、それから、楠公の社を起されて、此楠公の社と云へば、二百年前に佐賀の光茂公と云ふ人も加入して居られる、深江信溪其等と一緒に楠公父子の木像を拵へて祭られたことがある、其古い木像が後は梅林庵と云ふ寺にあつた、それを捜がし出しで、兄が始めて祭られた、それで、学校の書生等も、往々それに加はり、或は佐賀の家老あたりも、数名それに出席するやうになった、是が勤王の誠忠を鼓動されたことになつた」

　副島種臣の思想形成に大きな役割を果たしたのが、兄枝吉神陽である。藤田東湖と並び「東西の二傑」と呼ばれ、また佐賀の「吉田松陰」とも呼ばれた神陽は、嘉永３（１８５０）年に大楠公を崇敬する「義祭同盟」を結成している。『副島種臣先生小伝』は、神陽について以下のように書いている。
　〈先生の令兄神陽先生は、容貌魁偉、声は鐘の如く、胆は甕の如く、健脚で一日によく二十里を歩き、博覧強記、お父さんの学風を受けて皇朝主義を唱へ、天保十一年閑叟公（鍋島直正）の弘道館拡張当時は、年僅かに十九であつたが、既に立派な大学者で、国史国学研究に新空気を注入して、先生はじめ大木・大隈・江藤・島などの諸豪傑を教育し、天保十三年二十一で江戸に遊学するや、昌平黌の書生寮を改革し勤王思想を鼓吹して、書生問に畏敬され、後、諸国を漫遊して帰藩し、自から建議し、弘道館の和学寮を皇学寮と改めて、其の教諭となつたのは、其の二十七歳の時であつた。後文久二年は四十一歳で歿したが、臨終には蒲団の上に端坐し、悠然東方を拝して、『草莽の臣大蔵経種こゝに死す。』と言つて静かに暝目した〉