日本人最初の営業写真家・書画骨董鑑定家。別名、玉川三二(ぎょくせんさんじ)。父、遠藤三郎兵衛（四男）。幼名、幾之助。江戸出身。商家に養子に出されたが復籍し、母方姓鵜飼を名乗る。常陸国府中藩(茨城県石岡市)の江戸藩邸にて出生。万延元年(1860)日本初の写真館を横浜で開いたアメリカ人O・E・フリーマンから湿式コロジオンを学び、その仕事を引き継ぎ、文久元年(1861)江戸両国薬研掘（東日本橋1丁目）で写真館「影真堂」を開業。しかし、写真が退色することに絶望し、明治2年(1869)に廃業。この後古物に凝り、明治5年(1872)に正倉院の開扉に町田久成・得能良介にしたがい參加。明治16年(1883)谷中墓地に写真塚を建立し、アンブロタイプ(湿式コロジオンによるガラス板裏に黒布か黒く塗って、陰画を陽画にしてみる方法)を数百枚埋めた。なお、画家の谷文晁・椿椿山・渡辺崋山・市川米庵等とも交流を持つ。
