手游源码抓取工具-与大家分享一些在 GitHub 上整理的工具和资源

webbench:是Linux下的网站压力测试工具,最多可以模拟3万个并发连接,测试网站的负载能力

ab:ab是Apache自带的一个强大的测试工具

Siege:一款开源的压力测试工具,可以根据配置对一个WEB站点进行多个用户的并发访问,记录每个用户的请求过程对应的时间,并在一定的并发访问数下重复进行。

Squid(后端缓存)、nginx(负载)、nodejs(是的,也可以,自己写一些代码实现高性能的负载均衡器):常用的负载均衡器

Piwik:开源网站流量统计系统

ClickHeat:开源网站点击热图

HAProxy:高性能 TCP/HTTP 负载均衡器

ElasticSearch:基于Lucene的搜索引擎

PageSpeedSDK 和 YSLOW

HARViewer:HAR 分析工具

Protractor:E2E(端到端)手动测试工具

Web后端相关

咕噜声:jstaskrunner

Sea.js:js模块化

knockout.js:MVVM开发前台,绑定技术

Angular.js:使用超动态HTML&JS开发WEB应用!

Highcharts.js、Flot:常用的Web图表插件

Raw:非常好的中间数据可视化工具

Rickshaw:时间序列图标库,可用于创建实时图表

JavaScriptInfoVisToolkit:另一个 Web 数据可视化插件

Pdf.js,在html中突出显示pdf

ACE、CodeMirror:Html代码编辑器(ACE有很多)

NProcess:华丽的加载进度条

impress.js:允许你创建令人眼花缭乱的内容来展示功效(类似于reveal)

Threejs:3D Web 库

Hightopo:基于Html5的2D和3D可视化UI库

jQuery.dataTables.js:高度灵活的表格插件

Raphaël:js,canvas绘图库,后来发现百度索引的图形都是用它来绘制的

director.js:js路由模块,后端路由,Nodejs前端路由等,适合构建单页面应用

pace.js:页面加载进度条

Bower:Web 包管理器

jsnice:有趣的js反编译工具,猜测压缩变量名

D3.js:是一个基于JavaScript的数据展示库(类似于P5.js)

Zepto.js:联通替换jQuery的东西,其实也可以用jquery-mobile。

UI框架:Foundation、Boostrap、Pure、EasyUI、Polymer

后端UI设计师必须访问的几个网站:Dribbble、a​​wwwards、unmatchedstyle、UIMaker

Mozilla 开发者中心:

图标资源:IcoMoon(我的最爱)、ThemifyIcons、FreePik、Glyphiconsart

Dialog:非常漂亮的对话框

AdminLTE:github上的开源项目,基于Boostrap3的后台管理页面框架

Respond.js:让不懂爱的IE6-8支持响应式设计

require.js:js模块加载库

select2:一个选择框替换库,具有比选择更多的功能

AngularUI:集成 angular.js 的 UI 库

Normalize.css:一个使用现代标准来保持每个浏览器渲染的 html 一致的库

CreateJS:更少的 Html5 游戏引擎,Compass:简化 CSS 开发

emojify.js:用于手动识别网页上的Emoji文本并将其显示为图像

simditor:一款不错的开源html编辑器,简单高效

Sencha:基于html5的联通开发框架

SuperScrollorama+TweenMax+skrollr:构建出色的视差滚动治疗性网页动画

jquery-smooth-scroll:同上,平滑滚动插件

Animate.css:实现各种动画效果的css库

Emmet:后端工程师必备,ZenCode的前身

MagicDraw:Uml图工具

大数据处理/数据分析/分布式工具

Hadoop:分布式文件系统,结合其MapReduce编程模型,可以用于海量数据的批量处理(更不用说Hive、Pig、HBase等)。 值得介绍的是Cloudera的Hadoop分支CDH5,它基于YARNMRv2集成的Spark可以直接在生产环境的Hadoop中使用,对于企业快速建立数据库机房特别有用。

Ceph:Linux分布式文件系统(特点:无中心)

Storm:实时流数据处理,可以看IBM的介绍(还有Yahoo的S4手游源码抓取工具,也做流数据处理)

Spark:大规模流式数据处理(可以应对企业常见的三种数据处理场景:复杂的批量数据处理(批量数据处理);基于历史数据的交互式查询;基于实时数据流的数据处理(流式数据处理) )),CSND有一篇文章介绍的很好

SparkStreaming:基于Spark的实时估算框架

Tachyon:分布式显存文件系统

Mesos:估计框架 集群管理器,提供跨分布式应用程序或框架的有效资源隔离和共享 Impala:新一代开源大数据分析引擎,提供 Sql 语义,速度比 -Hive 更快

SNAPPY:Hadoop 生态系统的快速数据压缩系统

Kafka:高吞吐量分布式消息队列系统

ActiveMQ:Apache出品,最流行、最强大的开源消息总线

MQTT:MessageQueuingTelemetryTransport,消息队列遥测传输)是IBM开发的即时通讯合约,可能成为物联网的重要组成部分

RabbitMQ:记住OpenStack正在使用这个东西

ZeroMQ:它声称让分布式估计变得更容易。 它是一个分布式消息队列。 可以看云峰的一篇文章,介绍开源日志收集系统:scribe、chukwa、kafka、flume。这里有一篇对比文章

Zookeeper:一个用于可靠分布式协调的开源项目

Databus:LinkedIn实时低延迟数据采集系统

数据源获取:Flume、GoogleRefine、Needlebase、ScraperWiki、BloomReach

序列化技术:JSON、BSON、Thrift、Avro、GoogleProtocolBuffers

NoSql:Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j

MapReduce相关:Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum

数据处理:R,雅虎! Pipes、MechanicalTurk、Solr/Lucene、ElasticSearch、Datameer、Bigsheets、TinkerpopNLP

自然语言处理:NaturalLanguageToolkit、ApacheOpenNLP、Boilerpipe、OpenCalais

机器学习:WEKA、Mahout、scikits.learn、SkyTree

可视化技术:GraphViz、Processing、Protovis、Google FusionTables、Tableau、Highcharts、EChats(百度的也不错)、Raphaël.js

Kettle:开源ETL工具

Pentaho:以工作流为中心的开源BI系统

Mondrian:开源 Rolap 服务器

Oozie:开源hadoop工作流调度引擎

开源数据分析和可视化工具:Weka、Orange、KNIME

Cobar:阿里巴巴的MySql分布式中间件

指令与指令++

Thrift:用于开发可扩展、跨语言的服务(类似的还有Avro、Googleprotobuf)。

libevent:是一个风暴触发的网络库,适用于windows、linux、bsd等各种平台,内部使用select、epoll、kqueue等系统调用来管理storm机制。 (顺便说一句,还有libev)

Boost:不多说了手游源码抓取工具,准C++标准库PtmallocValgrindPurify

NetworkServer架构:acceptor->dispatcher->worker(这不是一个工具)

Breakpad:崩溃轮询和分析模块,很多crashreports都会用到

UI界面相关:不说MFC、BCG、QT,还有更高级的Html和DirectUI技术:libcef(基于chrome内核,想着用html5来开发页面,真是有点兴奋), HtmlLayout 、 Duilib 、 Bolt 、 non-C++ 和 node-webkit 也不错,集成了 node 和 webkit 内核。

游戏开发相关

MINA:使用Java开发手游和页游服务器(顺便还有Netty,也很猛,都是基于NIO)

HP-Socket:查看一些使用此构建的页游服务器

云峰的技术博客:

OGRE:著名的3D图形渲染引擎

OpenVDB:梦鞋厂C++特效库,开源

cocos2d:跨平台2D游戏引擎

unity3d:跨平台3D游戏引擎,非常火爆

Nodejs:很多人用它来开发手机游戏和服务器(网易的Pomelo就是那个)

日志聚合、分布式日志收集

Scribe:Facebook(nodejs+scribe+inotify 同步日志)

Logstash:强大的日志收集系统,可以基于logstash+kibana+elasticsearch+redis开发强大的日志分析平台

log.io:nodejs开发的实时日志采集系统RTP,实时传输合约和音视频RTP、RTCP、RTSP->librtp、JRTPLIB(符合RFC1889标准)环形缓冲区,用SDL进行实时数据传输、ffmpeg、live555、Speex

Red5:用Java开发一个开源的Flash流媒体服务器。 它支持:将音频(MP3)和视频(FLV)转换为播放流; 录制客户端播放流(仅支持FLV); 共享对象; 发布直播; 远程调用。

Python

Eric,Eclipse+pydev,一个比较好的Python IDE

PyWin:Win32api编程包

numpy:科学估计包,主要用来处理小矩阵估计等,还有SciPy、Matplotlib

GUI相关:PyQt、PyQwt

Supervisor:过程监控工具

JAVA相关

常用的IDE:IntelliJ IDEA、Eclipse、Netbeans

Web开发相关:Tomcat、Resin、Jetty、WebLogic等,常用组件Struts、Spring

HibernateNetty:异步风暴驱动的网络应用编程框架,比较适合高并发网络编程(NIO框架)

MINA:简单开发高性能高可靠的网络应用(也是一个NIO框架),很多手游服务器都是用它开发的

jOOQ:javaOrm框架 Activiti:工作流引擎,类似于jBPM、Snaker

Perfuse:是一个用户界面包,用于以交互式可视图形显示结构化和非结构化数据。

Gephi:复杂网络分析软件,主要用于各类网络和复杂系统,动态和层次图的交互式可视化和检测开源工具

Nutch:著名的爬虫项目,hadoop就是从这个项目发展起来的

web-harvest:Web数据提取工具

POM工具:Maven+ArtifactoryNetflix

Curator:Netflix开源的一个Zookeeper客户端库,用于简化Zookeeper客户端编程

Akka:基于Actor模型的并发处理框架

EclEmma:覆盖率测试工具

.net相关

Xilium.CefGlue:基于CEF框架的.NET封装,基于.NET开发Chrome内核浏览器

CefSharp:如上,有WebKit封装,C#和Js交互会更容易

netz:免费的.NET可执行文件压缩工具

SmartAssembly:一个变态的.net代码优化混淆工具

NETDeob0:.net反混淆工具,真是神奇的第一步,又更上一层楼(还有de4dot,在GitHub上开源)

ILMerge:将所有引用的 DLL 和 exe 文件合并为一个 exe 文件

ILSpy:开源.net程序反编译工具

Javascript.NET:一个非常好的js执行引擎,封装了v8

NPOI:Excel操作

DotRAS:远程访问服务模块

WinHtmlEditor:Winform下的html编辑器

SmartThreadPool:用C#实现的具有中间功能的线程池

Snoop:WPFSpy实用工具

Autofac:轻量级 IoC 框架

HtmlAgilityPack:Html解析神器

Quartz.NET:作业调度

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

悟空资源网 手游资源 手游源码抓取工具-与大家分享一些在 GitHub 上整理的工具和资源 https://www.wkzy.net/game/164389.html

常见问题

相关文章

官方客服团队

为您解决烦忧 - 24小时在线 专业服务