「三十六計」一詞最早可以追溯到《南齊書·王敬則傳》提到的“三十六策”：“敬則曰：‘檀公三十六策，走是上計。汝父子唯應急走耳。’”檀公，指南朝宋時名將檀道濟，「走為上計」指檀道濟伐魏不利，糧草被焚，宋軍乏食，主動退兵之事。他把計謀全用在「走」上面，包括「唱籌量沙」和「空城計」（都是裝腔作勢而得以撤退），而有「走為上計」的說法。但此處的“三十六计”不像是書名，《南齐书》和《南史》亦均无记载這一書名。[1]
宋代惠洪《冷斋夜话》有“三十六计，走为上计”一语；元朝以後，此語多見於小說戲曲之中，例如元關漢卿《竇娥冤·第二折》：“常言道的好，三十六計，走為上計，喜得我是孤身，又無家小連累，不若收拾了細軟行李，打個包兒，悄悄的躲到別處，另做營生，豈不乾淨。”明《水浒传》第二回：“娘道：我儿，三十六着，走为上着，只恐没处走。”清李玉《牛头山》第七出：“皇爷不要着急，三十六着走为上着。”
根据《易经》，六和八是阴的成数，而六更是阴数之极；三十六本為虛數，是阴数之极的平方，因此三十六應該只是虛數，表示计谋极多[1]。今天的《三十六計》確實有三十六條計策，可能只是附會這一典故。
散文家秦牧在1947年2月11日、12日的《華商報》上發表文章《流氓經》，稱“三十六計”一詞在“綫裝書中極難稽考，但普通人有這麼一說”。[2]可見“三十六計”一詞由來已遠古，但作為書名是20世紀的事情。