新選組隊士。奥州磐城平藩出身。父、山崎角兵衛一善。母の実家を継いで新井姓を名乗った。嘉永5年(1852)江戸に出て、新選組の募集に応募し諸士調役兼監察となる。慶応2年(1866)三条制札事件が発生。今川裕次郎とともに土佐藩宮川助五郎に重傷を負わせた。慶応3年(1867)3月10日伊東甲子太郎らと御陵衛士を結成して新選組から脱隊したが、油小路事件(新選組内部抗争)時には同志募集のため江戸にいて不在。何も知らずに帰って新選組に捕まることを恐れた妻小静が乞食に変装し迎えに行ったという。慶応4年(1868)1月、鳥羽伏見の戦いでは、新政府からの帰還命令を無視して進軍する相楽総三(赤報隊)の一番隊と決別し帰京したが、偽官軍事件の嫌疑を受け、鈴木三樹三郎、篠原泰之進とともに投獄された。すぐに嫌疑は晴れ釈放されたものの薩摩藩預かりとなる。相楽総三は刑死。慶応4年(1868)6月12日軍務官軍曹に任命され北越、東北の戦場を転戦した。維新後は司法省に勤務したが、明治3年(1870)上司海江田信義の大村益次郎暗殺犯死刑停止事件に連座して免職となる。4年後に復職し、明治19年(1886)退官後は東京下谷の仲御徒町に住む。病没。57歳。