昨天刚领一个线上P0级重大事故，持续时间1小时，影响范围全站！准确的时间点是下午17点开始，具体问题定位且听我下文细细道来。

先说感觉，那感觉真是太刺激了，本来下午五点，昏昏沉沉的，瞬间一个激灵就清醒了（想象一下高中课堂，你在打瞌睡，突然老师走到你面前给你一下子的感觉），原本准备再过一小时吃晚饭了，吃完晚饭再摸鱼到21点就可以下班了呀，别问我为啥到21点，问你就不是程序员！

带着无比紧张且颤抖的心情开始定位问题，先来个错误日志尝尝鲜：

整个事情的发酵是这样的：

1、下午五点开始有少量的慢sql报警，没有人当回事，因为这种事情总发生，虽然大家都知道在实际开发中如何避免慢sql，但是整个团队要想完全避免慢sql却很难；

2、五点十分左右，开始零星有用户反馈指定功能不可用，SLB开始报警，技术开始介入排查；

3、十五分左右，客服部门电话开始爆炸，用户密集反馈指定功能不可用，技术部开始重视；

4、二十分左右，所有服务大面积出现接口无法响应，整体服务不可用；

5、我们一开始定位觉得是MySQL的问题，因为前面有mycat的慢SQL报警，后来定位并不是MySQL，因为MySQL的内存、连接数、流量这些指标都很平稳；

6、最终在五点三十分的时候我们定位到是ES出问题了，因为所有的Java服务不可用最终都指向上面的错误日志，dubbo提供的服务线程池满了，再有请求进来直接拒绝了，查看这个服务的代码，最终查询的是ES，此时的ES进程已经处于假死状态。

那接下来大家说怎么办？如何快速的恢复线上服务？

重启！

是的，只有重启大法此时是最快的解决办法，你不可能说保留ES事故现场，让我用arthas之类的工具来现场分析jvm内存情况。

然而重启之后服务依旧是不可用，接口还是无法响应，大家知道这个时候是什么原因吗？为什么重启了ES服务还是不行？

后续继续重启报错dubbo日志的相应服务，当这些服务全部重启完毕后，我们的服务终于恢复访问了，这个过程持续了十几分钟，确切的说，直到17点五十多分，我们的所有服务才恢复了访问。

接下来就是事故总结、相关责任人、产生问题的原因、接下来的优化方案，全公司邮件通报！

你说这个难不难？本身并不难，难的是事情紧急且重要，这个时候你慌了啊，乱手乱脚的，大家你一言我一语的，如何冷静提取有效信息然后尽可能快的解决生产的重大故障才是最难的！

最后，当一切都恢复平静的时候，你会发现：“卧槽，好累啊！”。

虚脱的感觉！

最后祝大家程序员节日快乐，今年可是程序员的本命年哦～

2020 = 1024 + 996 = 404 + 404 + 404 + 404

遇到问题不要害怕，也不要烦躁，静下心来，想想问题出现的原因以及该怎么去解决，每解决一个问题都是对自己能力的提升。

分析问题

自己分析现象可能产生的原因，找到问题的根源。可能需要自己查找资料做支撑，这个应该形成习惯。遇到问题首先就得考虑自己解决，不要有依赖别人解决的初衷。

问题隔离

将问题分割为一个单独的程序。我们可以将它的相关代码从主程序中分离开来。这可能需要一点时间，但往往处理一个孤立的程序比应对整个的项目构建过程要容易得多。然后在解决这个单独程序的基础上再去和主程序作比较。

寻求帮助

自己实在搞不定，再去请教同事或者上一级技术负责人；不能为了面子一直陷在那个坑里。自己解决不了，同事或技术负责人也搞不定就考虑项目暂停或者中止，或者请外援支持等。

编程不是一件容易的事。不仅要耐得住寂寞，扛得住压力，还要紧跟新技术出现的步伐，顶得住残酷的竞争。所谓的技术大牛为何解决方案那么多，是因为他经历的问题多，看到的资料多。掌握解决问题的方式，谦虚地向别人请教，日复一日，相信你想不成为技术大牛都难！

解决问题的时间过得飞快，在开发过程中还好说。有时在甲方现场，出现生产事故，就像一头牛一样，甲方在屁股后面拿鞭子抽你，而你必须要排除外在干扰，按自己的节奏来解决问题，不能慌。解决问题后那种畅快的感觉，好像拥有了全世界。

这种感觉能难受，很压抑。

技术难题，对于程序员来说，是经常有的事，关键是如何面对吧。

说下我的事情，虽然也会写点代码，但并不是以此为正业，所以对于真正的程序员来说，可能说法会有点偏颇。

遇到难题时，一般都在网上搜索解决方法，一般来说，都有很优秀的程序员分享他的劳动成果，所以一般都能解决问题。但也真正碰到难的问题，一个就是循环的问题，无限极菜单问题，当时都是找了很久，看了很多遍才明白过来，当时自己是几天都不太开心，也不太想说话，总是在测试着程序。挺烦也挺不开心的。只是最后做出来了，心情就好多了。

这是我的一些经历，当然，如果全职程序员，可能压力就更大了。

如何形容这种感觉呢？焦躁，紧张，失落，无助，亚历山大...

再多词可能都描述不清楚。本人在工作中经常遇到难题，有些问题一两个月都搞不定。遇到这种问题，估计只有下面这张图的表情能描述此时此刻的心态了。

程序员遇到的难题其实分为两种，一种是没有办法定位清除的问题，另外一种是定位清除了，但是没办法，或者很难解决的问题。

难定位的问题

所谓难定位的问题，其实就是你根本不知道这个问题是什么。比如系统突然挂掉了，你从现有的信息根本不能确定问题在哪。这个时候你剩下的可能只有满脑子的问号了。

如果系统只挂了一次，后面不再出问题，那就很难找出问题的根源了。不过这样也有好处，那就是问题的影响的程度相对较轻，毕竟不容易出现。所以在软件开发中通常不是什么问题都解决的，因为不是所有问题都能搞清楚是什么问题，谈何解决呢！

难解决的问题

难解决的问题是问题搞清楚了，但是基于现有架构很难，或者没法搞定。遇到这种情况，通常先是很高兴，兴奋，然后就只剩下无奈了。

当然，从技术层面来说并不是完全解决不掉。只是如果要解决需要涉及架构调整或者其它方面的改动，修改调整的内容太多。这种情况下就要考虑利弊得失了。

如果改动太大，可能会引入很多新的问题，可能得不偿失。因此，遇到此类问题可能会采取一些规避方案。

当然，在开发和运营当中遇到各种问题是很正常的，关键是遇到不同的问题采用不同的策略。首先保证的是业务的正常运行，然后是考虑是否需要彻底解决。这样慢慢调整，心理压力会小一些。

作为一个工作多年的老码农，在工作也遇到过一些艰难的技术问题，就以切身体会谈谈对这个问题的看法。

首先需要明确一下，问题是否困难除了取决于问题本身之外，还在于解决问题的人的水平，也许对你很难的问题，在别人看来不过是小菜一碟。明白了这一点，那么这些技术问题也就成了考察程序员水平的试金石，有些人可能会因此气馁，甚至放弃；而有些人则通过解决问题学到了很多新的技术，也让自己进一步成长。

记得多年前看工作中要用到一款开源库，那时候刚学完C++不久，自以为对面向对象了解甚深，然而学习这个库时却是一头雾水，最后在经过泡论坛，然后又认真的学习了面向对象设计模式，后来不但能使用那个库，更重要的是对面向对象编程有了更深的认识！

后来还有很多类似的事情，刚开始时感觉无比困难，但是通过自己的努力，或求助他人、或查阅资料，当最终问题解决时，你会发现自己又牛逼了一些，然后再遇到一些新的问题，如此循环……

其实编程也是一个学习的过程，就如同爬山一样，每一阶段都会有一些山头，只有当你爬上山头才能欣赏美丽的风景，但是当你爬上一座山头的时候，就会发现更高山峰！只有当你爬上最高峰，才能“一览众山小”，可是到那时，你可能会向往地球之外的天地！

首先说下这个很难的技术定义，个人认为在你知道之外的知识都是很难的，一旦你深入了解其使用方式，原理，甚至阅读了他的源码，你会觉得有的时候会恍然大悟。程序员是一个不断要学习的岗位，就要面临很多从未知到已知技术的时候，每当遇到这样的情况时候，总有种不解决了这个问题，睡不着觉的感觉，心里不踏实，总是想尽各种办法去解决这个问题。甚至可以一直追查这个问题。也许这就是一种执拗吧

不能着急，慢慢分析，找到问题点，没有解决不了的问题

很难解决一般就是遇到某些瓶颈了，不同瓶颈的感觉是不一样的，但无非可以归结为下面几类。

成本原因
不让马儿吃草，还想让马跑。这个是有些不太理解互联网的一些领导的错误观念，他们会给你安排一个老旧台式机，想要让你承载几万、几十万并发的秒杀系统，你当然很难解决。
外界的评论可能是，“这帮程序员是吃干饭的么？这系统也太垃圾了！”
老板的评论是，“我这台式机也不少钱呢。”
程序员的评论是，“这抠门老板不会是个傻子吧。哎，再优化优化吧。”

当然，有些情况也是能够理解的，公司明白需要更好的设备，但是由于成本控制，不得不在某些方面节省。但换句话说，设备成本是占不了一个大头的，可能有其他方面的成本更加需要收紧。

如果是因为成本原因，我们的心情可能是无奈，又有些不能施展拳脚的束缚感。

历史原因
举个例子，系统用了5年了，迭代了N个版本，在面对新的需求的时候，就会出现需求限制于系统的情况，常常会有程序员说，这个实现不了，那个不符合现在系统规则。其中很大一部分是这些年的积累，欠下的技术债造成的。俗话说，大船难调头。

这种情况更多的出现在刚创业之后的几年，由于一开始的快速迭代，追求先把业务流程跑通，先生存再规范，会让一开始的软件开发流程并不那么规范，如果在1-2年内没有进行重构，那么积攒的3-5年的技术债就会慢慢把你压得喘不过气来。

解决这种情况，一是需要时机，给出足够的空间和时间让技术团队重构，二是需要魄力，你得有成功的把握，不能干着干着说不行了，咱们还是回到原来吧。

如果是因为历史原因，我们的心情可能是期待和渴望，又有些对现状的无奈。

能力原因
虽然说专家很厉害，但说白了，大部分企业需要的研发人员，还到不了需要专家的级别。所以，一般而言，没有什么技术是攻克不了的。如果真的遇上了，那就说明你的公司已经到达了一个新的层次，从而需要那个层次的人员来解决，可以通过外聘或者顾问的方式，引进新的技术。

如果是因为能力原因，我们的心情虽然有些力不从心，但又为公司在新的台阶而高兴。

不管怎样，程序员是一群追求美好的人，不管是外部限制还是内部限制，不能解决的难题对于技术人员来说总是很憋屈的。

我老公最近就遇到一个大石头需要敲碎，我作为一个旁观者，都挺心疼他。

他还在读博，最近遇到的问题是他一个项目上的问题，也跟他的毕业设计相关。他刚读博的时候确定了一个方向，去年开题的时候他觉得这个方向没有什么前景，真的是考虑了好久要不要换，如果不换，就是安稳的毕业，换的话接下来的一年多时间他会很艰难，很多新的问题需要一一克服，最后他决定换了，他说他读博就是为了提高自己，还是想挑战一下。

年前，系统板设计好了，然后最近做好回来了，开始调试，说这个板子跟个石头一样，不工作。本来就是礼拜一到礼拜六待在学校不回来，周日是休息的。现在放假回来都是在啃变压器的东西，早上起的很早，晚上又很晚。真的挺心疼的，他还安慰我说，他又要进步了。挺担心他的身体的，我特别希望时间能快点过去，能顺利毕业。他却不希望，总觉得时间过的太快，没有时间搞研究。

今年的生日愿望，希望他科研顺利，身体健康。