『副島伯閑話』には、副島の兄枝吉神陽の尊皇思想が明確に示されている。特に注目されるのは、高山彦九郎・蒲生君平の影響である。副島は神陽について以下のように語っている。
「是は唯性質純粋の勤王家であつた」
「是は勤王家であるから、奸雄のことは一口も褒むることは嫌ひである」
「矢張兄も高山蒲生等が好きで、其伝を自ら写して居られた、其中蒲生の著述には殊の外服して居られた、職官志、山陵志、それから不恤緯と言ふやうな蒲生君の著述がある、それから、蒲生の詩集も写して居られた」
ここで、編者の片淵琢は「左に高山蒲生両士の伝を掲げて、世上同好の人士に示す」と述べ、28ページに及ぶ伝記を載せている。これは、枝吉神陽・副島種臣に対する高山彦九郎・蒲生君平の影響の大きさを物語っている。
さらに、副島は神陽について以下のように語っている。
「昌平校で日本書を読むやうなことを始めたのは兄である。是れは間違は無いとこで、佐賀の国学教諭と云ふ者になつて居られた時、皇学寮と云ふものを起されて矢張日本の書を研究する寮を一つ設けられた、それから、楠公の社を起されて、此楠公の社と云へば、二百年前に佐賀の光茂公と云ふ人も加入して居られる、深江信溪其等と一緒に楠公父子の木像を拵へて祭られたことがある、其古い木像が後は梅林庵と云ふ寺にあつた、それを捜がし出しで、兄が始めて祭られた、それで、学校の書生等も、往々それに加はり、或は佐賀の家老あたりも、数名それに出席するやうになった、是が勤王の誠忠を鼓動されたことになつた」