查看原文
其他

抖音的服务器究竟有多大?

点击上方 "Python人工智能技术关注,星标或者置顶
22点24分准时推送,第一时间送达
后台回复“大礼包”,送你特别福利

编辑:乐乐 | 来自:机器人观察,带你详细了解互联网世界

Pythn人工智能技术(ID:coder_experience)第665期推文

上一篇:2021 软科中国计算机专业排名


正文


   大家好,我是Python人工智能技术

最近看到一个有意思的提问:抖音服务器带宽有多大,为什么能够供那么多人同时刷?
今天来给大家科普一下。图片来自 Pexels抖音,百度,阿里云,腾讯都是自建的数据中心,都是 T 级别出口带宽(总出口带宽),也就是达到 1T=1024G/s 的出口带宽,服务器总署基本都在 20 万台以上,甚至阿里云都超过了 100 万台。字节跳动的数据中心总带宽,可能在 10TB 级别左右,预期突破 15TB 级别不远了。一般情况下:总出口带宽 1TB,实际机房出口带宽可能只有 100G 上下,这是采用双(多)链路设计,双出口实现动态流量分担,总的出口带宽可以达到 T 级别。大型数据中心想要同一时间有数亿人在线,TB 级别带宽,CDN 加速和多节点,负载均衡等等技术缺一不可。(这个设计技术过于复杂,有相关专业朋友,可以评论简要概述)

CDN 加速 字节跳动有多少台服务器?

根据网络数据整理,2017 年 2-3 万台服务器,这个时候主要是租用服务器为主。2018 年,字节跳动自己建设了数据中心,最大的数据中心在河北怀来官厅湖新媒体产业园,一期 5 万台服务器,二期 9 万台服务器。2018 年,租用 + 自建的服务器数量达到 17 万台服务器。2020 年,根据字节跳动招聘公告的数据,显示有 42 万台服务器。比 2018 年增长了 1.5 倍。(数据来自网络)一个机柜中 10-20 台服务器这部分服务器都是给中国区域使用,主要应用国内的抖音,西瓜视频,今日头条,飞书等产品。在美国的 TIKTOK 是独立出来的运营,数据在美国当地存储和分发。2020 年 Tiktok 在美国也租用了近 10 万台服务器据 Business Insider 公布数据,2020 年上半年,字节跳动在美国弗吉尼亚州北部租用了能耗达 53 兆瓦的数据中心。可以容纳数十万台服务器,占地面积可达数十万平方英尺。Tiktok 在印度,新加坡都在投资建设数据中心。

字节跳动大型的数据中心出口带宽是多少?

聊完了服务器数量,那么咱们来点硬核的东西:字节跳动大型的数据中心出口带宽是多少?知识点:所谓的出口带宽,其实就是咱们普通人所说的下载带宽。就是服务器给每一个手机分发数据总速度。一般情况下,小型的 IDC 公司自建机房,比如一些网站公司,租用联通,移动,电信的机房,可能总体出口带宽只有 5G。超过 30G 那都是具备一定规模的企业。网络公司营收少说也是几千万的企业。所以,经常能够看到,一些规模还不错的企业,基本上都不再自建机房,都是使用云主机。例如阿里云的 ECS,腾讯云,百度云,AWS(亚马逊)。一般一个企业网站(企业官网),20M 带宽,4G 内存,100G 硬盘,一年价格也就 4000-5000 块钱就足够了,赶上做活动价格可能更便宜。这里面就是带宽最贵,当然增加带宽,达到一定等级,例如访问量增大,必须要增加内存和硬盘。相比来说,带宽增加的话,费用更贵一些。这里就跟你说明一下:带宽比较昂贵,属于稀缺资源。我们来看中国移动的一个机房,中国移动(河北石家庄)数据中心的数据:占地面积 174 亩,总建筑面积 13 万平方米,规划 10 栋单体建筑,全部建成后可提供约 3 万个机架的装机能力。搜索公众号Linux中文社区回复“私房菜”,送你一份惊喜礼包。3 个 IDC 机房共可提供 3.1 万架机柜,15T 带宽资源。一个机柜,全 1U 设备部署数量一般不超过 16 台,全 2U 设备一般不超过 12 台,全 4U 设备一般 4 到 7 台。我们取高性能的 2U 和 4U 服务器进行平均折中,各算一半(毕竟移动也算是有钱的大户,不能买低端的 1U 设备)。那么 3.1 万架机柜就可以安装,最多 21-36 万台服务器。这里粗略取一个平均值:30 万台服务器。享受 15T 的出口带宽资源。当然作为电信的干路网,移动拿带宽资源肯定是要比字节跳动更有优势的。所以,我们粗略地估计字节跳动自建的 17 万台服务器的数据中心。总出口带宽可能在 7Tb-10TB 上下。基本上肯定会采用双出口流量设计,再加上多链路的部署方式:可以做到实际出口带宽在 800G-1TG 就可以实现 10T 左右的总出口带宽。【这是技术方式】字节跳动 2018 年河北怀化数据中心T 级别出口带宽是什么概念,如果我告诉你 2009 年,整个上海的出口带宽才 1140G,也就是刚刚达到 1TB。在短短的 10 年后,一个企业的数据中心的出口带宽就超过 1TB,这个速度真的不可想象。要知道 2009 年,虽然智能手机不发达,但是个人 PC 销量已经非常庞大了。CDN 加速,让大众刷抖音,看视频都不再卡。知识点:CDN(Content Delivery Network,内容分发网络)。将服务端的内容发布到最接近用户的边缘节点,使用户可以就近取得所需的内容。解决 Internet 网络拥塞状况,提高用户访问网站的响应速度。多种加速的方案集合。用通俗的话解释 CDN 就是: 会把一些页面,专门压缩,有的压缩为静态页面,静态页面直接分发速度快。用户可以在 2s 内看到内容,体验感更好。【这是静态传输】对于动态视频,首先通过智能路由,寻找最佳路径,然后协议优化将长连接,内容进行压缩,去除冗余。【这就是动态压缩】给你们看一下 2015 年腾讯 5 亿日活,集合了音乐,即时通讯等等产品的 CDN 的级别,达到了 10TB 带宽。每天请求万亿次。2015 年腾讯 CDN 的级别因此,我这里说字节跳动整体服务器有 10TB 应该只少不多。就是这么大的带宽和技术实力,才能让我们看视频这么顺畅。你还有什么想要补充的吗?

免责声明:本文内容来源于网络,文章版权归原作者所有,意在传播相关技术知识&行业趋势,供大家学习交流,若涉及作品版权问题,请联系删除或授权事宜。


技术君个人微信


添加技术君个人微信即送一份惊喜大礼包


→ 技术资料共享

→ 技术交流社群



--END--


往日热文:

写 Python 代码不可不知的函数式编程技术

字节跳动P0级事故:实习生删除GB以下所有模型,差点没上头条......

输出好看的表格,就用这个 Python 库!

Python很慢?Python之父一句话亮了

这份工程师简历火了:手磨14nm咖啡,在微软传播性病,90%公司伸橄榄枝


Python程序员深度学习的“四大名著”:



这四本书着实很不错!我们都知道现在机器学习、深度学习的资料太多了,面对海量资源,往往陷入到“无从下手”的困惑出境。而且并非所有的书籍都是优质资源,浪费大量的时间是得不偿失的。给大家推荐这几本好书并做简单介绍。


获得方式:

1.扫码关注本公众号
2.后台回复关键词:名著

▲长按扫描关注,回复名著即可获取

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存