How and When To Enable MySQL Logs

If you are a web developer, you need to refer to various log files, in order to debug your application or improve its performance. Logs is the best place to start troubleshooting. Concerning the famous MySQLdatabase server (or MariaDB server),…

Read More

Debian vps上使用youtube-dl下载YouTube视频

youtube是美国流行的在线视频网站,上面的资源非常丰富,有些朋友会希望将youtube上的视频下载到本地,直接下载比较有难度。但是,先下载到vps上,然后取回本地是一个比较有效的解决方案。本文就来介绍下使用youtube-dl下载YouTube视频。 youtube-dl简介 youtube-dl是一个使用python(版本要求:2.6, 2.7, or 3.2+)编写的命令行脚本,可以下载youtube、新浪、优酷、土豆等热门在线视频网站的视频。 脚本github托管地址:https://github.com/rg3/youtube-dl 安装python环境及youtube-dl 1、安装python环境 使用putty登入vps,执行以下命令: 1 apt-get install python-pip 查看python版本: 1 python -V python版本要求:2.6, 2.7, or 3.2+。 2、安装youtube-dl 执行以下命令: 1 pip install youtube-dl 这仅是一种安装方法,具体见https://github.com/rg3/youtube-dl#installation youtube-dl用法 1、youtube-dl的基本用法 1 youtube-dl URL (URL是youtube视频页面的地址) 如 1 youtube-dl https://www.youtube.com/watch?v=aluYo-FSqiw 2、youtube-dl的其他常用用法…

Read More

java架构师之路:JAVA程序员必看的15本书的电子版下载地址

作为Java程序员来说,最痛苦的事情莫过于可以选择的范围太广,可以读的书太多,往往容易无所适从。我想就我自己读过的技术书籍中挑选出来一些,按照学习的先后顺序,推荐给大家,特别是那些想不断提高自己技术水平的Java程序员们。 一、Java编程入门类   对于没有Java编程经验的程序员要入门,随便读什么入门书籍都一样,这个阶段需要你快速的掌握Java基础语法和基本用法,宗旨就是“囫囵吞枣不求甚解”,先对Java熟悉起来再说。用很短的时间快速过一遍Java语法,连懵带猜多写写代码,要“知其然”。 1、《Java编程思想》 下载地址:http://www.shangxueba.com/share/p2446196.html   在有了一定的Java编程经验之后,你需要“知其所以然”了。这个时候《Java编程思想》是一本让你知其所以然的好书,它对于基本的面向对象知识有比较清楚的交待,对Java基本语法,基本类库有比较清楚的讲解,可以帮你打一个良好的Java编程基础。这本书的缺点是实在太厚,也比较罗嗦,不适合现代人快节奏学习,因此看这本书要懂得取舍,不是每章每节都值得一看的,挑重点的深入看就可以了。 2、《Agile Java》中文版 下载地址:http://www.shangxueba.com/share/p2564807.html    这本书是出版社送给我的,我一拿到就束之高阁,放在书柜一页都没有翻过,但是前两天整理书柜的时候,拿出来一翻,竟然发现这绝对是一本好书!这本书一大特点是以单元测试和TDD来贯穿全书的,在教你Java各种重要的基础知识的过程中,潜移默化的影响你的编程思维走向敏捷,走向TDD。另外这本书成书很新,以JDK5.0的语法为基础讲解,要学习JDK5.0的新语法也不错。还有这本书对于内容取舍也非常得当,Java语言毕竟类库庞大,可以讲的内容太多,这本书选择的内容以及内容的多寡都很得当,可以让你以最少的时间掌握Java最重要的知识,顺便培养出来优秀的编程思路,真是一本不可多得的好书。   虽然作者自己把这本书定位在入门级别,但我不确定这本书用来入门是不是稍微深了点,我自己也准备有空的时候翻翻这本书,学习学习。 二、Java编程进阶类   打下一个良好的Java基础,还需要更多的实践经验积累,我想没有什么捷径。有两本书值得你在编程生涯的这个阶段阅读,培养良好的编程习惯,提高你的代码质量。 1、《重构 改善既有代码的设计》 下载地址:http://www.shangxueba.com/share/p1838195.html    这本书名气很大,不用多介绍,可以在闲暇的时候多翻翻,多和自己的实践相互印证。这本书对产生影响是潜移默化的。 2、《测试驱动开发 by Example》 下载地址:http://www.shangxueba.com/share/p2564819.html   本书最大特点是很薄,看起来没有什么负担。可以找一个周末的下午,一边看,一边照做,一个下午就把书看完,这本书的所有例子跑完了。这本书的作用是通过实战让你培养TDD的思路。 三、Java架构师之路   到这个阶段,应该已经非常娴熟的运用Java编程,而且有了一个良好的编程思路和习惯了,但是可能还缺乏对应用软件整体架构的把握,现在就是迈向架构师的第一步。 1、《Expert One-on-One J2EE Design and Development》 下载地址:http://www.shangxueba.com/share/p2564816.html    这本书是Rod Johnson的成名著作,非常经典,从这本书中的代码诞生了springframework。但是好像这本书没有中译本。 2、《Expert One-on-One J2EE Development without EJB》 下载地址:http://www.shangxueba.com/share/p2564818.html …

Read More

优酷、YouTube、Twitter及JustinTV视频网站架构设计笔记

本文是整理的关于优酷、YouTube、Twitter及JustinTV几个视频网站的架构或笔记,对于不管是视频网站、门户网站或者其它的网站,在架构上都有一定的参考意义,毕竟成功者的背后总有值得学习的地方,虽然有些文章的发表时间有点久了,但是看看对开阔视野还是有帮助的。 优酷视频网站架构 一、网站基本数据概览 据2010年统计,优酷网日均独立访问人数(uv)达到了8900万,日均访问量(pv)更是达到了17亿,优酷凭借这一数据成为google榜单中国内视频网站排名最高的厂商。 硬件方面,优酷网引进的戴尔服务器主要以 PowerEdge 1950与PowerEdge 860为主,存储阵列以戴尔MD1000为主,2007的数据表明,优酷网已有1000多台服务器遍布在全国各大省市,现在应该更多了吧。 二、网站前端框架 从一开始,优酷网就自建了一套CMS来解决前端的页面显示,各个模块之间分离得比较恰当,前端可扩展性很好,UI的分离,让开发与维护变得十分简单和灵活,下图是优酷前端的模块调用关系: 这样,就根据module、method及params来确定调用相对独立的模块,显得非常简洁。下面附一张优酷的前端局部架构图:   三、数据库架构 应该说优酷的数据库架构也是经历了许多波折,从一开始的单台MySQL服务器(Just Running)到简单的MySQL主从复制、SSD优化、垂直分库、水平sharding分库,这一系列过程只有经历过才会有更深的体会吧,就像MySpace的架构经历一样,架构也是一步步慢慢成长和成熟的。 1、简单的MySQL主从复制: MySQL的主从复制解决了数据库的读写分离,并很好的提升了读的性能,其原来图如下: 其主从复制的过程如下图所示: 但是,主从复制也带来其他一系列性能瓶颈问题: -写入无法扩展 -写入无法缓存 -复制延时 -锁表率上升 -表变大,缓存率下降 那问题产生总得解决的,这就产生下面的优化方案,一起来看看。 2、MySQL垂直分区 如果把业务切割得足够独立,那把不同业务的数据放到不同的数据库服务器将是一个不错的方案,而且万一其中一个业务崩溃了也不会影响其他业务的正常进行,并且也起到了负载分流的作用,大大提升了数据库的吞吐能力。经过垂直分区后的数据库架构图如下: 然而,尽管业务之间已经足够独立了,但是有些业务之间或多或少总会有点联系,如用户,基本上都会和每个业务相关联,况且这种分区方式,也不能解决单张表数据量暴涨的问题,因此为何不试试水平sharding呢?   3、MySQL水平分片(Sharding) 这是一个非常好的思路,将用户按一定规则(按id哈希)分组,并把该组用户的数据存储到一个数据库分片中,即一个sharding,这样随着用户数量的增加,只要简单地配置一台服务器即可,原理图如下: 如何来确定某个用户所在的shard呢,可以建一张用户和shard对应的数据表,每次请求先从这张表找用户的shard id,再从对应shard中查询相关数据,如下图所示: 但是,优酷是如何解决跨shard的查询呢,这个是个难点,据介绍优酷是尽量不跨shard查询,实在不行通过多维分片索引、分布式搜索引擎,下策是分布式数据库查询(这个非常麻烦而且耗性能)   四、缓存策略 貌似大的系统都对“缓存”情有独钟,从http缓存到memcached内存数据缓存,但优酷表示没有用内存缓存,理由如下: 避免内存拷贝,避免内存锁 如接到老大哥通知要把某个视频撤下来,如果在缓存里是比较麻烦的 而且Squid…

Read More