第一次衰落：清朝中后期，清政府不斷加重農民的負擔，使農民不堪重負，茶農的經濟利益因此受到了很大的損害，茶商也無利可圖，許多茶商和馬幫只好另走他途，茶農們紛紛丟棄茶園另謀生路，六大茶山的茶葉產量逐年下降。到了清朝末年，由于地方混亂，盜匪蜂起，交通阻塞，商旅畏途，茶葉經營無銷路，制茶商號紛紛倒閉，過去那種茶商云集、馬幫絡繹不絕的景象已經不復存在，六大茶山的茶葉貿易也一蹶不振。