与作の建築業は十数人の職人を使う規模となっていましたが、武四郎が15歳の明治38年、57歳で病没してしまいました。武四郎は事業を継ぐため東京で修業することになり、神田の清水組棟梁斎藤平吉方へ弟子入り。昼は仕事で、神田から深川木場の清水組の工作場まで、雨の日も雪の日も歩いて3年間通います。夜は神田錦町の東京工科学校の予科で勉強。同校建築科を卒業するもすぐに徴兵されます。この間、実母と義母が相ついで他界してしまいました。
無事兵役を終えて除隊。今度は東京深川の請負業西村組の西村常吉方に就職し、多くの公共事業に関わります。東京・淀橋の専売局の大きな工事では現場責任者となり、”ネズミ”とニックネームをつけられるほど働きました。この間、五十幡たけと結婚。

昭和41年、前橋市表町に現社屋を建設。社名を小林工業㈱に改めます。昭和46年、長女源子の女婿小林秀雄を社長に昇格させて自らは会長となりました。こうして、社業と公職に全力を傾注してきた武四郎は昭和49年、83歳の長寿を全うして他界。生前、前橋商工会議所副会頭、市消防団長、同消防長、群馬建設業協会長、県宅地建物取引業協会長などの役職を歴任。藍綬、紺綬各褒章受章、正六位を贈られるなど多くの受章、受賞歴があります。

源子と結婚した婿養子小林秀雄は山口県出身。浅沼組での業務経験を経て昭和21年に現小林工業に入社。小林工業社長、小林ハウジング社長を勤め義父武四郎のよき協力者であり片腕として社業発展に尽くしましたが、惜しくも58年春67歳で逝去。生前、群馬建築士会副会長、前橋消防団長、群馬建設業協会理事、前橋市史編さん委員などを歴任、また全国建設業協会長表彰、県功労者表彰など多くの受章があります。

小林工業会長小林健吉は武四郎、たけのニ女政子と結婚している女婿。大正6年生まれの静岡県出身。昭和20年に現小林工業に入社。監査役、常務、専務、副社長を経て58年会長になります。この間義父、義兄と協力して社業のため大いに尽くしました。