webbench:是Linux下的网站压力测试工具,最多可以模拟3万个并发连接,测试网站的负载能力
ab:ab是Apache自带的一个强大的测试工具
Siege:一款开源的压力测试工具,可以根据配置对一个WEB站点进行多个用户的并发访问,记录每个用户的请求过程对应的时间,并在一定的并发访问数下重复进行。
Squid(后端缓存)、nginx(负载)、nodejs(是的,也可以,自己写一些代码实现高性能的负载均衡器):常用的负载均衡器
Piwik:开源网站流量统计系统
ClickHeat:开源网站点击热图
HAProxy:高性能 TCP/HTTP 负载均衡器
ElasticSearch:基于Lucene的搜索引擎
PageSpeedSDK 和 YSLOW
HARViewer:HAR 分析工具
Protractor:E2E(端到端)手动测试工具
Web后端相关
咕噜声:jstaskrunner
Sea.js:js模块化
knockout.js:MVVM开发前台,绑定技术
Angular.js:使用超动态HTML&JS开发WEB应用!
Highcharts.js、Flot:常用的Web图表插件
Raw:非常好的中间数据可视化工具
Rickshaw:时间序列图标库,可用于创建实时图表
JavaScriptInfoVisToolkit:另一个 Web 数据可视化插件
Pdf.js,在html中突出显示pdf
ACE、CodeMirror:Html代码编辑器(ACE有很多)
NProcess:华丽的加载进度条
impress.js:允许你创建令人眼花缭乱的内容来展示功效(类似于reveal)
Threejs:3D Web 库
Hightopo:基于Html5的2D和3D可视化UI库
jQuery.dataTables.js:高度灵活的表格插件
Raphaël:js,canvas绘图库,后来发现百度索引的图形都是用它来绘制的
director.js:js路由模块,后端路由,Nodejs前端路由等,适合构建单页面应用
pace.js:页面加载进度条
Bower:Web 包管理器
jsnice:有趣的js反编译工具,猜测压缩变量名
D3.js:是一个基于JavaScript的数据展示库(类似于P5.js)
Zepto.js:联通替换jQuery的东西,其实也可以用jquery-mobile。
UI框架:Foundation、Boostrap、Pure、EasyUI、Polymer
后端UI设计师必须访问的几个网站:Dribbble、awwwards、unmatchedstyle、UIMaker
Mozilla 开发者中心:
图标资源:IcoMoon(我的最爱)、ThemifyIcons、FreePik、Glyphiconsart
Dialog:非常漂亮的对话框
AdminLTE:github上的开源项目,基于Boostrap3的后台管理页面框架
Respond.js:让不懂爱的IE6-8支持响应式设计
require.js:js模块加载库
select2:一个选择框替换库,具有比选择更多的功能
AngularUI:集成 angular.js 的 UI 库
Normalize.css:一个使用现代标准来保持每个浏览器渲染的 html 一致的库
CreateJS:更少的 Html5 游戏引擎,Compass:简化 CSS 开发
emojify.js:用于手动识别网页上的Emoji文本并将其显示为图像
simditor:一款不错的开源html编辑器,简单高效
Sencha:基于html5的联通开发框架
SuperScrollorama+TweenMax+skrollr:构建出色的视差滚动治疗性网页动画
jquery-smooth-scroll:同上,平滑滚动插件
Animate.css:实现各种动画效果的css库
Emmet:后端工程师必备,ZenCode的前身
MagicDraw:Uml图工具
大数据处理/数据分析/分布式工具
Hadoop:分布式文件系统,结合其MapReduce编程模型,可以用于海量数据的批量处理(更不用说Hive、Pig、HBase等)。 值得介绍的是Cloudera的Hadoop分支CDH5,它基于YARNMRv2集成的Spark可以直接在生产环境的Hadoop中使用,对于企业快速建立数据库机房特别有用。
Ceph:Linux分布式文件系统(特点:无中心)
Storm:实时流数据处理,可以看IBM的介绍(还有Yahoo的S4手游源码抓取工具,也做流数据处理)
Spark:大规模流式数据处理(可以应对企业常见的三种数据处理场景:复杂的批量数据处理(批量数据处理);基于历史数据的交互式查询;基于实时数据流的数据处理(流式数据处理) )),CSND有一篇文章介绍的很好
SparkStreaming:基于Spark的实时估算框架
Tachyon:分布式显存文件系统
Mesos:估计框架 集群管理器,提供跨分布式应用程序或框架的有效资源隔离和共享 Impala:新一代开源大数据分析引擎,提供 Sql 语义,速度比 -Hive 更快
SNAPPY:Hadoop 生态系统的快速数据压缩系统
Kafka:高吞吐量分布式消息队列系统
ActiveMQ:Apache出品,最流行、最强大的开源消息总线
MQTT:MessageQueuingTelemetryTransport,消息队列遥测传输)是IBM开发的即时通讯合约,可能成为物联网的重要组成部分
RabbitMQ:记住OpenStack正在使用这个东西
ZeroMQ:它声称让分布式估计变得更容易。 它是一个分布式消息队列。 可以看云峰的一篇文章,介绍开源日志收集系统:scribe、chukwa、kafka、flume。这里有一篇对比文章
Zookeeper:一个用于可靠分布式协调的开源项目
Databus:LinkedIn实时低延迟数据采集系统
数据源获取:Flume、GoogleRefine、Needlebase、ScraperWiki、BloomReach
序列化技术:JSON、BSON、Thrift、Avro、GoogleProtocolBuffers
NoSql:Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j
MapReduce相关:Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum
数据处理:R,雅虎! Pipes、MechanicalTurk、Solr/Lucene、ElasticSearch、Datameer、Bigsheets、TinkerpopNLP
自然语言处理:NaturalLanguageToolkit、ApacheOpenNLP、Boilerpipe、OpenCalais
机器学习:WEKA、Mahout、scikits.learn、SkyTree
可视化技术:GraphViz、Processing、Protovis、Google FusionTables、Tableau、Highcharts、EChats(百度的也不错)、Raphaël.js
Kettle:开源ETL工具
Pentaho:以工作流为中心的开源BI系统
Mondrian:开源 Rolap 服务器
Oozie:开源hadoop工作流调度引擎
开源数据分析和可视化工具:Weka、Orange、KNIME
Cobar:阿里巴巴的MySql分布式中间件
指令与指令++
Thrift:用于开发可扩展、跨语言的服务(类似的还有Avro、Googleprotobuf)。
libevent:是一个风暴触发的网络库,适用于windows、linux、bsd等各种平台,内部使用select、epoll、kqueue等系统调用来管理storm机制。 (顺便说一句,还有libev)
Boost:不多说了手游源码抓取工具,准C++标准库PtmallocValgrindPurify
NetworkServer架构:acceptor->dispatcher->worker(这不是一个工具)
Breakpad:崩溃轮询和分析模块,很多crashreports都会用到
UI界面相关:不说MFC、BCG、QT,还有更高级的Html和DirectUI技术:libcef(基于chrome内核,想着用html5来开发页面,真是有点兴奋), HtmlLayout 、 Duilib 、 Bolt 、 non-C++ 和 node-webkit 也不错,集成了 node 和 webkit 内核。
游戏开发相关
MINA:使用Java开发手游和页游服务器(顺便还有Netty,也很猛,都是基于NIO)
HP-Socket:查看一些使用此构建的页游服务器
云峰的技术博客:
OGRE:著名的3D图形渲染引擎
OpenVDB:梦鞋厂C++特效库,开源
cocos2d:跨平台2D游戏引擎
unity3d:跨平台3D游戏引擎,非常火爆
Nodejs:很多人用它来开发手机游戏和服务器(网易的Pomelo就是那个)
日志聚合、分布式日志收集
Scribe:Facebook(nodejs+scribe+inotify 同步日志)
Logstash:强大的日志收集系统,可以基于logstash+kibana+elasticsearch+redis开发强大的日志分析平台
log.io:nodejs开发的实时日志采集系统RTP,实时传输合约和音视频RTP、RTCP、RTSP->librtp、JRTPLIB(符合RFC1889标准)环形缓冲区,用SDL进行实时数据传输、ffmpeg、live555、Speex
Red5:用Java开发一个开源的Flash流媒体服务器。 它支持:将音频(MP3)和视频(FLV)转换为播放流; 录制客户端播放流(仅支持FLV); 共享对象; 发布直播; 远程调用。
Python
Eric,Eclipse+pydev,一个比较好的Python IDE
PyWin:Win32api编程包
numpy:科学估计包,主要用来处理小矩阵估计等,还有SciPy、Matplotlib
GUI相关:PyQt、PyQwt
Supervisor:过程监控工具
JAVA相关
常用的IDE:IntelliJ IDEA、Eclipse、Netbeans
Web开发相关:Tomcat、Resin、Jetty、WebLogic等,常用组件Struts、Spring
HibernateNetty:异步风暴驱动的网络应用编程框架,比较适合高并发网络编程(NIO框架)
MINA:简单开发高性能高可靠的网络应用(也是一个NIO框架),很多手游服务器都是用它开发的
jOOQ:javaOrm框架 Activiti:工作流引擎,类似于jBPM、Snaker
Perfuse:是一个用户界面包,用于以交互式可视图形显示结构化和非结构化数据。
Gephi:复杂网络分析软件,主要用于各类网络和复杂系统,动态和层次图的交互式可视化和检测开源工具
Nutch:著名的爬虫项目,hadoop就是从这个项目发展起来的
web-harvest:Web数据提取工具
POM工具:Maven+ArtifactoryNetflix
Curator:Netflix开源的一个Zookeeper客户端库,用于简化Zookeeper客户端编程
Akka:基于Actor模型的并发处理框架
EclEmma:覆盖率测试工具
.net相关
Xilium.CefGlue:基于CEF框架的.NET封装,基于.NET开发Chrome内核浏览器
CefSharp:如上,有WebKit封装,C#和Js交互会更容易
netz:免费的.NET可执行文件压缩工具
SmartAssembly:一个变态的.net代码优化混淆工具
NETDeob0:.net反混淆工具,真是神奇的第一步,又更上一层楼(还有de4dot,在GitHub上开源)
ILMerge:将所有引用的 DLL 和 exe 文件合并为一个 exe 文件
ILSpy:开源.net程序反编译工具
Javascript.NET:一个非常好的js执行引擎,封装了v8
NPOI:Excel操作
DotRAS:远程访问服务模块
WinHtmlEditor:Winform下的html编辑器
SmartThreadPool:用C#实现的具有中间功能的线程池
Snoop:WPFSpy实用工具
Autofac:轻量级 IoC 框架
HtmlAgilityPack:Html解析神器
Quartz.NET:作业调度