Yahiko é descendente de uma família samurais. O pai dele morreu na Batalha de Ueno, durante a Guerra Boshin, sendo abatido no Templo Keneiji. A mãe faleceu de sífilis em um bordel, onde tentava colocar comida na mesa pouco depois de dar à luz ao filho. Inicialmente, Yahiko foi forçado a viver como ladrão para a Yakuza local, que o enganou fazendo-o acreditar que ainda precisava quitar o dinheiro que os gangsters haviam dado à sua mãe para comprar remédios. Com a ajuda de Himura Kenshin e Kamiya Kaoru, ele se torna aprendiz do estilo Kamiya Kashin‑Ryu. Yahiko tem um amigo e rival, Tsukayama Yutaro, e um querido, Sanjo Tsubame, que trabalha na Akabeko.