新网创想网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
1) Linux运维岗位及工作内容
我们是自2013年创立以来的成都网站建设公司,提供网站建设,电商网站设计开发,外贸网站建设,响应式网页设计,小程序设计、等服务。为客户创造有价值的品牌营销体验,让互联网提升企业的竞争力!
互联网Linux运维工程师是一个融合多学科(网络、系统、开发、数据库、安全、存储等)的综合性技术岗位,甚至还需要沟通、为人处世、培训、销售、管理等非技术能力,这给运维工程师提供了一个广阔的发展空间。
2) Linux运维工程师岗位职责
一般从企业入门到中级Linux运维工程师的工作大致有:挑选IDC机房及带宽、购买物理服务器或云服务、购买及使用CDN服务、搭建部署程序开发及用户的访问系统环境(例如:网站运行环境)、对数据进行备份及恢复、处理网站运行中的各种故障(例如:硬件故障、软件故障、服务故障、数据损坏及丢失等)、对网站的故障进行监控、解决网站运行的潜在安全问题、开发自动化脚本程序提高工作效率、规划网站架构、程序发布流程和规范,制定运维工作制度和规范、配合开发人员部署及调试产品研发需要的测试环境、代码发布等工作需求,公司如果较小可能还会兼职网管、网络工程师、数据库管理员、安全工程师、技术支持等职责。
涉及到的Linux平台上的运维工具有:Linux系统,Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,Drbd,PPTP,OpenVPN,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,,K8S,Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,网络基础,Shell/Python开发基础等,除此之外还可能涉及到交换机、路由器、存储、安全、开发等知识。
运维工程师还包括一些低端的岗位,例:网络管理员、监控运维、IDC运维,值班运维
职业发展方向:Linux运维工程师、系统架构师、数据库工程师、运维开发工程师、系统网络安全工程师、运维经理、运维总监
3) Linux中级运维工程师应用软件阶段。
Linux系统,Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,Drbd,PPTP,OpenVPN,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,网络基础,Shell/Python开发基础
4)Linux运维架构师岗位职责
运维架构师是运维工程师的高级阶段,并没有明确的岗位界限区分,运维架构师一般来说是除了对运维工程师应用的开源工具熟练掌握之外,更多的是用思想来运维了,即DevOps的落地,各种企业运行过程中的解决方案提出和执行,例如:根据公司的现状可以设计各类运维解决方案的能力:
1、自动化代码上线(SVN/GIT+Jenkins+MVN)解决方案;
2、云计算部署架构及Docker微服务架构方案;
3、服务自动化扩容方案(KVM/OpenStack/Docker+Ansible+Zabbix);
4、10万并发的网站架构、秒杀系统的架构及解决发你个案;
5、多IDC机房互联方案、全网数据备份解决方案、账号统一认证方案;
6、数据库、存储及各重要服务节点的集群和高可用方案。
7、各网络服务的极端优化方案、服务解耦/拆分。
8、运维流程、制度、规范等的建设和推行。
9、沟通能力、培训能力、项目管理、业务需求分析及落地执行力等。
这里仅举几个例子,实际工作中会有更多,运维架构师的工作,其实就是解决企业中的用户访问量不断增大带来的痛点,最终达到高效、优质的为客户提供网站及业务服务。
总的来说:Linux运维架构师更多的是根据企业日益增长的访问量需求,利用若干运维工具组合加上经验思想,形成解决业务需求方案的阶段,当然也不排除对运维工具进行二次开发以及可视化展示运维数据的阶段(开发软件平台),这个阶段涉及的工具会非常多,几乎市面好用的开源工具都在备选之列,在一线城市互联网公司的薪资范围15000-50000/月。
职业方向:高级数据库工程师、运维开发工程师、运维经理、运维总监、技术总监
运维架构师:将多个工具组合,加上思想经验,形成方案,用思想和经验赚钱的阶段。
技术的提升仅是量的积累,思想的提升才是质的飞跃!——老男孩
5)数据库运维工程师
众所周知,数据几乎是所有企业的生命线,所以数据库工程师的地位和薪水一般会比普通运维工程师高一些,主要工作内容就是保证数据库数据的安全以及高效地为用户提供各种服务。工作内容主要有:数据库环境搭建、数据库优化、数据库;
现在比较大型点的系统基本上是AP+DB的架构: AP指应用程序,DB指数据库端AP放在一个服务器上,DB放在另一个服务器上当一个系统比较大,访问的用户数量比较多的时候,比如QQ,上亿用户.这时一个服务器就吃不消了,这样就想到多个服务器跑同一个AP应用.DB端也一样.linux集群 指的就是多个服务器跑同一个AP应用,系统管理员的工作数据库集群 指的就是多个服务器跑同一个DB数据库.数据库管理员的工作。 集群方面就得需要集群架构师来操作了
这个做好了很牛了,但要有大量的知识做支撑:
1 linux操作系统的知识,这里指的是linux内核的运作机制,如进程管理/内存管理等,总之需要懂得linux是怎么运作的。
2 linux外围,如shell脚本/各种工具集这些
3 分布式理论基础,可以看看hadoop这些开源分布式系统的实现原理
4 大量的经验,系统集成是个大工程,经验永远是很重要的。
5 一定的语言基础C++/JAVA
这篇文章更多的是从沟通角度分析架构师的升级之道。但我们知道,架构师更多是靠技术拿高薪。
在本文里,我将列些我见到的技术架构平时需要解决的问题,有技术的,也有沟通协调方面的,以这些实实在在的案例,来列举些技术架构需要具备的技能,以此来分析下高级开发如何更高效地升级到技术架构。好了,开场白结束,正文开始。
1 技术本身不产生价值,业务才会,论技术和业务的整合
一般会把架构分为技术架构和业务架构,这里我无意对比这两类的优劣,但我只想说,在公司里,是靠业务价值创造盈利点的,所以技术,比如消息队列,内存优化,以及分库分表数据库集群等,只有嵌入到业务里,才能通过提升业务的可扩展性或性能,从而产生价值。
上述似乎是废话,但恰恰是架构师工作的难点,大家可以想象一下,比如通过MyCat搭建个分库分表架构不难,甚至把分库分表组件通过负载均衡搭建成集群也不难,这些网上都有现成的案例。但如何要在当前的业务系统里实现分库分表,难度就不小了。具体来讲,因为业务系统里或许有冗余数据,而且有各类带join, group by等的查询语句,如何在分库分表系统里兼容这些 历史 问题,而且在上线新分库系统后迁移 历史 数据,又如,在产线切换到分库分表时,万一有问题如何回退,这些绝非是知道些Demo案例的高级开发能解决的问题。
所以在技术和业务方面,我自己的感受是(包括我见到的和听到的) :只有接触到业务了,才能用技术解决实际问题,才能更了解这个技术用起来的各类坑,像刚才提到的分库分表是这样,其它的诸如日志组件,消息队列组件都这样。通过下面部分给出的架构师平时要解决的实际问题的讲述,大家能更深刻地体会到这点。
2 资深架构师平时要解决的问题
如下的问题均是来源于实际,出于项目保密的原则,本人隐去了关键性的业务描述,但大家都能看懂,并能感受到架构师平时要解决问题的难度。
问题一,A公司有财务管理人事管理等10个左右的项目,它们在产线上,需要标准化管理,比如用同一个Maven仓库,不论功能业务如何,得用同一套配置管理服务,用同一套日志管理和分析组件,还得用同一套大数据组件来根据不同的业务维度来分析数据。
如果是重新搭建一套系统,这个难度也不小,更何况,对资深架构师的要求是,在 历史 项目的技术上做标准化管理,否则每个项目各管各的,维护成本大不算,不同项目间的库还很容易产生冲突。架构师要在保持业务稳定的前提下实现这点,大家可以考虑下难度。
问题二,随着B公司业务量的上升,数据库里的数据达到了T级,所以需要通过分库分表来实现优化。这本身不难,但如何在升级的过程中保持业务的稳定?不能说上个功能点,关键业务就挂了,而且,万一上线后出现问题,得提供应急的回退方案。
问题三,C公司是个创业型公司,刚开始的时候,通过SSM外加Oracle,能满足大多数的业务需求,但随着业务量的提升,需要资深架构在短时间里实现针对高并发和大数据的方案,比如并发量高了,系统至少不能垮,而且针对每笔订单,处理可以稍作延迟,但不能丢数据。
问题四,D公司需要在linux上搭建一套和产线一样的测试环境,在平时的开发过程中,各业务组可以通过工具,在测试环境上部署或回退本项目的组件,这里,不仅要搭建测试环境,更要通过jenkins等工具给各业务组搭建一套能便捷部署系统的工具。
除了上述的问题之外,资深架构更像一个救火队员,比如在公司的业务体系里,任何一个团队报出的和架构相关的问题,比如调消息队列有延迟,调分库分表时报内存OOM异常了,或者因Dubbo底层而导致的延迟或OOM,资深架构得能亲自或带领手下解决具体的问题。
3 和高级开发相比,资深架构一定得精通的技能(或素质)
其实高级开发和资深架构在需要掌握的技能方面,并没太大的差别,具体而言,能帮助实现性能优化的分布式组件和数据库组件(或者叫中间件)也就这么多,linux下的操作命令也就这么些,一些系统管理的工具,比如Maven,Jenkins,ant等的用法也不难。但和高级开发相比,资深架构的差别在于如下几点。
1 资深架构解决的问题种类和数量要比高级开发多很多,所谓神枪手得靠子弹喂出来,有些问题,比如针对Kafka消息中间件的问题,资深架构一看日志就知道该怎么改,或者一看log4j错误信息就知道和其它哪些类有冲突了,又如,在搭建线程池时遇到了OOM问题,资深架构估计也能通过简单地看日志,也能快速定位问题所在。
也就是说,资深架构已经积累了很多处理问题的经验,遇到一般问题时,无需再通过比较耗时的debug看问题根源,往往在脑子里已经存储了大量可能会导致问题的原因,再通过查看关键日志即可定位到具体的代码点,然后就能很快地给出解决方案。
2 在给出解决方案时,比如要上个分布式redis集群,或者上个消息中间件,对高级开发而言,往往会有很多试错的时间,比如上线后有某些功能点没调通,得通过Debug或查日志来逐一解决问题,或上线某个基于python的大数据分析系统后,虽然能满足基本的功能,但在某个场景(比如写日志线程并发量太多)里,可能会导致OOM异常。
而对资深架构来说,往往之前已经做过同类事情,所以能避免很多坑(少了很多试错成本和时间),而且由于对底层代码比较熟悉,所以哪怕出现比较疑难的问题(比如不能稳定重现),资深架构能通过看日志很快定位到具体的底层类,(而高级开发一般对此就束手无策了)。相比之下,资深架构的中流砥柱效应就能体现出来。
3 资深架构一般具有对各组件的差别非常了解,比如做分布式队列,该先用Kafka还是rabbitMQ,或者搭建数据库集群时,该用MySQL里的哪种引擎。
这样,在选型时,由于知道了各种方案的优缺点,所以能知道哪类方案更适合本业务系统,或者说,通过重写哪类组件的底层代码,能很快地搭建起满足本系统的中间件组件。这点,高级开发未必能做到。
总结一下,资深架构得对关键组件的底层非常了解,并且精通针对某些组件(比如消息组件,分库组件)的实施和排查问题的能力,此外,资深架构的基本功也得非常扎实。
1 debug能力就不用说了,得能熟练地通过linux命令,从各类日志中发现并解决问题。
2 无需了解所有组件的底层代码(这太难了,也做不到),但需要了解一些常用组件的关键底层实现(比如Spring IOC或常用中间件) 方式,更得具备到组件内部jar里debug排查问题的能力。
3 学习能力更不说了,和高级开发相比,资深架构更得了解哪类组件该学,而且,每个组件内部的知识太多,比如Kafka的知识就能写至少一本书,对于资深架构而言,首先需要用较短的时间了解该组件(比如kafka)的架构以及和其它分布式组件(比如Flume)的整合方式,而且还得具备过滤知识的能力,即知道哪些知识不用学。这样一旦有需求,就可以较快地搭建出系统原型骨架,随后再逐步完善功能效果。
4 对于程序员而言,如何高效地升级到架构或资深架构?
当我还处在一般开发和高级开发的中间水平时,我认为我能很快地升级到架构师的水平,所谓无知者无畏。当我迈出升级的步伐时,刚开始,我突然发现升级的难度很大,从而无处下手,因为平时我缺乏实践架构师技能的实战机会。现在,通过一些努力,我虽然没有自信说自己一定达到了架构师的水平,但大多数架构师能干的活,我勉强能做好。而且我平时也在不断揣摩身边技术架构的思考方式和解决问题的方法,所以在这方面我自认为给出的建议不会耽误大家。
首先是巩固自己基本功方面的建议。
1 学再多的视频和材料,也不及动手实践一个案例。
比如,大家在学习消息队列时,一定得动手搭建个环境,最好用虚拟机模式分布式的场景,这时可能就有同学说了,环境太难搭建,怎么办?自己查资料,这种动手能力对架构师而言就属于基本功,如果这也做不好,那么也没希望升级到架构师了。
类似这样,大家可列个学习列表,网上升级到架构师的系列视频很多,质量高的也不少,都是别人的经验之谈,但如果就看理论,或者看关键点,这连架构师的面试都通过不了,更何况做实际的架构师的活。
2 平时不能畏难,一定得多解决问题。
在平时工作中,一定会出很多问题,而且不少是出在核心代码和底层代码里,这时就一定得通过看日志等方式去排查问题。 我知道,对很多想升级的高级开发而言,刚开始的时候一定很难,比如linux命令都不熟,或者效率很慢,别人都找出问题点了,自己才刚打开日志。其实大家都这样过来的,多查多练,最多三个月,动手能力一定能提升。
3 得锻炼自己在linux里(或在分布式环境里)部署系统部署组件的能力,尤其是部署集群的能力,在此基础上,通过各种工具能进行压力测试。
比如还是拿kafka来说,搭建好集群后,就可以用kafka自带的Performance来做压测。其实如果是自己练习,压测的结果没太大的意义,但这个流程走下来,一定能对搭建环境,使用工具和看日志等技巧就非常熟悉了。
4 尽量培养自己的调优意识。说这个话很虚,具体而言,自己得能通过各种数据库日志(比如各sql的运行时间)来找出长sql,并在此基础上通过执行计划来优化,又如,可以通过dump文件和GC日志来看虚拟机的内存使用曲线,看内存主要耗在哪些方面,如果是自己代码没写好那还好办,如果是耗在(中间件的)底层jar包里的代码里,那也得知道解决方案。
以上只是架构师所需要的基础技能, 其实如果能真正做到上述4点的话,大家离开架构师的水准也不远了,在此基础上,大家还得继续锻炼整合的能力。
从纵向来讲,需要进一步深化搭建集群的技能,比如能从底层代码的角度,了解集群的组成方式,这样的话,就能很清晰地了解到集群的扩展方式和性能调优点。
从横向来讲,需要进一步了解多种组件的整合方式,比如系统如何同日志组件整合,大数据分析工具如何同日志组件整合等。
剩下的就是不断积累经验技能了。
5 在升级路上,如何避免一些坑
我在平时还有机会接触一些大神,这些其实都是大神们的经验之谈。下面分享下在升级过程中应当避免哪些坑。
1 就像大家以前准备政治考试时,先准备大点,在保证大点不拉下的基础上,再详细复习每个大点里的细节。比如,可以先了解Spring Cloud里有哪些组件,比如Ribbon可以用来负载均衡,Hystrix可以用来容错等,先把Spring Cloud里诸多组件先了解个大概,能用它们搭建成一个微服务体系后,再深入了解其中每个组件的细节,比如Spring Cloud Stream里Kafka配置细节。
但我经过和多位架构师沟通,他们在升级时,多少都在这方面走过弯路,我自己有时候也会不知不觉陷入技术细节之中,而忘记我学这个技术的初衷。这里给大家的建议是,在明确学习目标后(比如要学Spring Cloud),刚开始别先自己闭门造车地为自己制定学习目标,可以先借鉴现有的视频讲解等的学习路线。制定学习计划时,以两到三天为单位,给自己定好一个短期目标,等到Spring Cloud组件全都了解后,再通过运行通若干个案例来深入了解组件的细节,这样就能控制住自己的学习步骤。
2 千万别理论和实际脱节。这似乎是废话,但我见过很多高级开发,平时就看视频和书,也不运行代码,结果进步的速度很慢。
如果没机会实践架构技能怎么办?看自己组里有没有架构的活。如果也没有怎么办?(别嫌我啰嗦)回家自己准备环境,按视频里的搭建架构环境。必要时,你甚至可以通过跳槽来换得一个架构师的实践机会。
3 架构师可以是技术控,但绝不能是完美主义,毕竟解决方案得和实际业务切合,并得考虑解决问题的成本。而且,架构师不能过于拘泥于细节,不能什么都事必躬亲,很多时候,得给出方向,或者把问题拆分成开发能理解的子问题,然后让手下人去干。 这似乎和技术没有关系,这就要求架构师更具备和人打交道的能力了,这点将在本文的第6部分详细说明。
6 指导技术难于自己实现功能,再论资深架构的协调(或者说扯皮)能力的炼成
不少开发者,尤其是资深开发者,或许都有这样的体会,对于一些功能,我宁可自己做,而不是把它们拆分成若干个子功能再安排手下人去做。或者我宁可去攻克一些技术的难题,也不愿意去和人扯皮,从而去制定架构里组件的选型方案。
可以这样说,架构师30%的价值来自他拥有的专业技能,30%的价值来自他分析和解决问题的能力,而40%的价值(甚至更高)来自于指导和协调能力。除去最后40%的价值,架构师其实和高级开发没什么差别。比如通过下面的例子,我们能看到架构师为什么还得具备指导和协调的能力。
案例1:当架构师被要求改善本公司系统(比如是个应用网站)的调用性能时,他就得和多个组打交道,往往是,有些组未必肯支持(毕竟现有系统用得不错谁都不愿改),或者具体的改善点需要一些组来落实,这就相当于增加该组的工作量了。
案例2:当架构师搭建好一套分布式缓存系统后,就得培训其它组的开发人员,让他们合理使用这套系统。
案例3:又如架构师帮一个组解决了一个典型的OOM问题后,得把解决这个问题的思路向其他组推广,以便节省解决同类问题的时间。
从上述案例中,我们一定能感受到在沟通,协调方面架构师需要掌握的技能水准。这方面说难不难,多练就行,但对IT开发而言,动嘴要比动手写代码要难。下面也给出些提升“动嘴”能力的技巧。
1 首先得提升自己综合逻辑思维的能力,这点可以靠多写博客,甚至写书来提升。其实写的时候,就相当于把自己要讲的内容用文字整理了一遍,这样无形中也提升了自己综合表达能力。
2 在组内要多分享技术。其实刚开始分享时,一定不知道该说什么,甚至讲完后没人能懂(当然自己一定能懂),但多讲几次后,口头表达和与别人的交流能力也上去了。
3 在遇到和其它组交流时(比如联调或沟通接口),一定得抓住机会多开口,刚开始的时候,估计很难让别人能接受自己的观点,或者自己有理也未必能讲清楚,但经过多次协调后,就能让别人接受自己的观点,或者大家能达成彼此能接受的妥协方案。
对本文感兴趣的Java工程师的朋友们可以私信我【Java架构】进我的粉丝群领取一些架构资料 电子书籍在群里也会有面试上的一些建议交流
最后一个小要求,可以帮我转发下!
对于Linux的学习,可以分为四个阶段,Linux初级入门阶段→Linux中级进阶→Linux高级进阶→Linux资深方向细化阶段
第一阶段:初级阶段
初级阶段需要把linux学习路线搞清楚,任何学习都是循序渐进的,所以学linux也是需要有一定的路线。
1. Linux基础知识、基本命令;
2. Linux用户及权限基础;
3. Linux系统进程管理进阶;
4. linux高效文本、文件处理命令;
5. shell脚本入门
第二阶段:中级进阶
中级进阶需要在充分了解linux原理和基础知识之后,对上层的应用和服务进行深入学习,其中说到服务肯定涉及到网络的相关知识,是需要花时间学习的。
1. TCP/IP网络基础;
2. Linux企业常用服务;
3. Linux企业级安全原理和防范技巧;
4. 加密/解密原理及数据安全、系统服务访问控制及服务安全基础;
5. iptables安全策略构建;
6. shell脚本进阶;
7. MySQL应用原理及管理入门
第三阶段:Linux高级进阶
1. http服务代理缓存加速;
2. 企业级负载集群;
3. 企业级高可用集群;
4. 运维监控zabbix详解;
5. 运维自动化学习;
第四阶段:Linux资深方向细化
1. 大数据方向;
2. 云计算方向;
3. 运维开发;
4. 自动化运维;
5. 运维架构师
以上是Linux的一个学习方向和路线,对于Linux学习是一个需要坚持的过程,也许通过自学或者培训,3至6个月都可以把基本知识学会,但是重在实践,深入的思考和不断的摸索,你会发现Linux更多的美!
架构师呀 那么先从运维工程师做起吧 ,要学习网络方面的知识,数据在网络中怎么传递,linux的基本操作,各项服务的配置和原理,计算机硬件的知识也要了解 有了这些基础了之后会接触到网络架构 ,架构是对各方面综合考虑针对相关业务作出的部署方案,就不如访问网站 ,客户端在浏览器上输入一个IP有外网就能连接上,而这个公司呢 要考虑的就很多了 域名解析 每天有多少访问量 多大的带宽 部署多少台服务器 用lvs keeplive 分发 用apache nagix tomcat处理不同的请求页面 ,后台数据库的选着mysql 还是oracle db2 怎么做数据库的备份容灾 ,全国各个地方做cdn加速呢还是缓存服务器 ,这是一个简单的lamp架构 每一个节点上都要做很多的考虑高负载高可用性,一台服务器荡了对整个服务不影响,各种应急预案,业务扩展,成本与收益等,这是积累了很多项目经验后,遇到过各种问题 解决掉 对整个系统结构业务机构很熟悉后才能去做的职业,从基础坐起 架构师不是梦。