柔道家で講道館四天王の一人。父、山田半助(3男)。静岡県沼津市出身。明治11年(1878)上京し嘉納家の書生となり私立学校で普通学・漢学を学ぶ。明治15年(1882)講道館創立時に入門。初の黒帯取得者。嘉納治五郎と共に柔道の研究をすると共に弘文館で英語を修める。横山作次郎、西郷四郎、山下義韶と共に「講道館四天王」のひとり。講道館を創立した嘉納治五郎とは天神真楊流にて修行相手をした間柄。明治20年(1887)静岡県韮山に講道館分場を設けて普及に努めると共に、韮山中学校で英語教師をする。明治24年(1891)学習院師範として生徒の柔道を天覧に供した。明治26年(1993)富田家の婿養子。のち、講道館に戻り嘉納塾監督となる。明治37年(1904)渡米して柔道を宣伝した。東京有段者会副会長。海外にても柔道の普及に努めた。明治38年(1905)大日本武徳会総裁。貞愛親王より柔道教士称号を受ける。子に「姿三四郎」の作者である富田常雄がいる。
