他的军队被称为“泰山军”，长沙会战蒋介石要亲自出面请他出山

李玉堂毕业于黄埔军校一期，与李延年、李仙洲、王耀武合称“三李一王”。

抗战时期，国民党军队有“五大王牌军”之称，即：新一军、第五军、新六军、第十八军、第七十四军。蒋介石曾说“如果我们有十个同等水平的王牌军，抗战就不会这么艰苦了。”其实，在“五大王牌军”之外，还有一支号称“泰山军”的军队同样让日军胆战心惊。“泰山军”的编制是第十军，军长就是李玉堂。

李玉堂的所率领的第十军先后参加过武汉会战、南昌会战、长沙会战、常德会战等战役，并在第三次长沙会战中勇猛击退日军。由于李玉堂是山东人，因此国人称之为“泰山军”。

长沙会战，又称为"长沙保卫战"。是指发生在抗日战争1939年9月到1942年2月期间，中国军队与侵华日军在以长沙为中心的第九战区进行了三次大规模的激烈攻防战。这场战役是抗日战争进入相持阶段以后，国民党正面战场抵抗日本帝国主义军队侵略，所取得的第一次重大胜利，是抗战爆发以来，中国军队第一次以武力迫使日军回到原战略态势的战役。长沙会战的胜利，沉重地打击了日本侵华军队，粉碎了日本消灭中国军队主力、"以战迫降"的战略目标，振奋了全国人民抗战胜利的信心 。有力地支援了世界反法西斯阵营的作战，极大地提高了中国在世界反法西斯阵营的地位 。有力地保卫了湖南广大地区和我国西南大后方的安全，稳定了湖南局势，并使之成为支持全国长期抗战的重要基地 。

前两次长沙会战，从战略上看，中国军队阻止了日军向西南纵深长驱直入，可以视为中国的胜利；但从战术上看，中国军队损失更大，双方并未分出胜负。

1941年12月，日军集结重兵发动第三次长沙会战，而负责长沙警备任务的第10军到现在还没有军长。于是第9战区司令长官薛岳决定让仍住长沙的李玉堂复出，承担起指挥第10军的责任。李玉堂自从被撤职后，感到上级对他的不公，虽然第10军刚上战场就被日军突破阵地，但是最终还是在长沙外围挡住了日军的进攻。此次惨遭撤职，是怎么也想不通的，于是他在没有办理完交接手续的情况就回家闭门谢客了。

薛岳请他复出，李玉堂并不买这位战区司令长官的面子，仍旧不为所动。直到蒋中正亲自给李玉堂通电话后，才使他重新担负起指挥第10军防守长沙的担子。根据曾经在第10军服务的蒋鸿熙回忆，这通电话的内容如下：

蒋介石：“你是第十军军长李玉堂吗？

李玉堂：报告委座，是的！

蒋介石：你是黄埔一期学生吗？

李玉堂：报告校长，是的。

蒋介石：那好了，那么长沙交给你了。

随后电话挂断。蒋中正简单的几句话，包含着处分的解除和校长的信任，既坚定了李玉堂的守城决心，也成就了其一生戎马生涯的最高峰。

李玉堂重返军部视事，并制订保卫长沙的作战计划，召开新闻发布会公开表示愿与长沙城共存亡。面对日军第11军司令官阿南惟畿的疯狂进攻，顽强抵抗，殊死战斗，最终迫使日军放弃进攻撤退，取得了抗战史上闻名中外的第三次长沙大捷。会战结束后，第10军获得"泰山军"的荣誉称号，李玉堂被提升为第27集团军副总司令兼第10军军长，并授予青天白日勋章，成为了该勋章的第95位获得者。

三次战役中，李玉堂的第十军都作为主力参战，特别是第三次更是一个人挑起了重担，捍卫长沙城，也因此被誉为“长沙守护神”。

1950年，蒋介石派李玉堂任海南防卫副总司令、第一路军司令官兼三十二军军长，驻军海南岛。

解放军对海南岛施行包围，并派地下工作联络员李刚到海南岛进行策反投降工作。李玉堂权衡再三，决定接受联络员李刚的意见。为慎重起见，他亲笔写信秘派专人从水上到香港，找到其妻陈伯兰、内兄陈石清，并让其将信转给解放军驻广州最高统帅叶剑英。信转到叶剑英手中后，叶剑英亲自批示：“李玉堂火速起义。起义后可委以海南岛军政委员会副主任之职。”因当时交通、通讯很不方便，加之此乃军机大事，当特派员将叶剑英的批示转到香港，又准备前往海南岛时，已传来了海南岛解放、岛上守军未作抵抗、全部缴械投降的消息，李玉堂只带副官亲信及十余名士兵乘快艇逃往台湾。特派员闻悉情况突变，便急回广州又将信交回叶剑英手中。同时，大陆方面又派人去香港与李玉堂夫人陈伯兰及陈石清会晤，转达叶剑英机密手令并嘱李玉堂夫人陈伯兰：“此去谨慎从事，待机行动”。陈氏兄妹离港去台。

1950年5月，李玉堂将军奉令率部队从海南岛撤台。李玉堂到台不久，随其前去的副官李刚便被特务怀疑监视，后被逮捕。终因受刑不过，而将投降的问题供认，遂即李玉堂及其妻陈伯兰以及妻兄陈石清秘密逮捕。1951年2月5日（除夕）李玉堂将军夫妇同遭枪决，罪名是“包庇叛徒”与“煽惑军人逃叛未遂”。

李玉堂死后数年，经有关单位深入调查落实，李玉堂确实给叶剑英写过信。1983年被追认为革命烈士。