Vankúšové torty majú viac ako štyristoročnú históriu. Legenda hovorí, že vznikli ako čajový snack v sídle Li Wencha, predstaviteľa dynastie Ming v cisárskej akadémii. Li Wencha, zdvorilé meno Yanmo, bol rodák z Houshan, Guanxi, okres Pinghe (teraz dedina Xilin, mesto Xiaoxi, okres Pinghe) a uznávaný hudobný teoretik. Li Wencha slúžil ako prefekt Liaozhou a Jinzhou. Získal si priazeň cisára Jiajing za „predstavenie svojho hudobného pojednania“ a bol prijatý ako úradník v cisárskej akadémii.
Počas éry Wanli odišiel Li Wencha do dôchodku a vrátil sa do svojho rodného mesta Houshan. Aby demonštroval vznešenosť „pekingského úradníka“, priviedol z hlavného mesta späť cukrára a požiadal ho, aby vytvoril jedinečné pečivo pre svoju domácnosť ako občerstvenie po nápojoch a čaji a ako darček na pohostenie príbuzných a priateľov. Zručný a dômyselný šéfkuchár vytvoril „vankúšovú tortu“. Šľachtici v paláci ho ochutnali a veľmi ho obdivovali. "Xiaoxi Vankúšové torty" boli označené ako pocta cisárskemu dvoru a neskôr začali kolovať medzi obyčajnými ľuďmi.