Assumindo o título de Grande Professor, ele liderou a Rebelião do Turbante Amarelo junto aos irmãos mais novos, Zhang Bao e Zhang Liang, em uma campanha chamada “O Caminho do Céu ou o Caminho da Paz”. Ele e seus irmãos possuíam papéis distintos: Zhang Bao era o General da Terra, Zhang Liang o General do Povo, enquanto Zhang Jiao atuava como General do Céu. Os Turbantes Amarelos afirmavam ser taoístas e se revoltaram contra os Han por causa dos altos impostos que lhes eram cobrados. No início da revolta, conseguiram muitas vitórias, mas quando os Han pediram ajuda de figuras como Liu Bei, Cao Cao e Sun Jian, a falta de habilidade dos generais turbanistas ficou evidente. Apesar de ainda manterem alguma resistência contra o inimigo mais poderoso, foram despedaçados após a morte do líder Zhang Jiao e acabaram sendo sufocados em seguida.