藤井は生まれてから高校を卒業するまで、山口県岩国市で過ごす。岩国市は、山口県の最東に位置し、在日米軍の海兵隊や海上自衛隊の基地があり、国際性を持った軍事都市である。そして、母方の祖父は、元・軍人。病で退役したものの、亡くなる直前まで軍人の魂を持ち続けた人だった。祖父の家には天井までの書棚があり、そのとてつもない本の量に、幼少だった藤井はたじろいだという。本をよく読み、歴史に詳しく、知識が豊富な祖父だったのだ、と。今でも藤井が日本や世界の歴史に明るいのは、おそらく祖父の影響だろう。そして、どんなことも徹底的に下調べしてから臨む、という今の藤井のビジネススタイルの基礎を作り上げたのは、祖父が書籍から得た知識を語り教えてくれたことがその背景にあるに違いない。藤井が尊敬してやまない、と今も祖父のことを話すのは、知らず識らずのうちに祖父から生き方を学んでいたからなのだ。