大数据时代,知道后世很多大企业用的都是低端服务器。
杭雨不知道他们怎么做到的,但这不妨碍他下决策,他一句话,技术部便明确目标,开始研究相关技术,结果当然成功了。
“这个问题问的太专业了,我想让我们公司的关教授来回答。关教授是开发巴蛇系统的总工程师,他比我更清楚具体的技术问题。”杭雨把话筒给关永林。
“说到低端服务器和高端服务器的选择问题,其实当时我们也是迫于无奈,因为董事长说资金困难,不肯批钱,所以我们只能退而求其次。”关永林站起来道。
众人闻言笑了笑,感觉他们的开发故事挺有趣的。
“解决这个问题,得用到分布储存和冗余配置的技术。分布储存大家都知道,冗余配置就是把一个数据拷到三个服务器里头,三个低端服务器的价格仍然比一个高端的服务器便宜,这样一来既提高可靠性又降低了成本。”关永林简单介绍道。
“感谢关教授的回答,我来补充一下。”吴院长说道:“大数据跟过去的分析不一样,过去的数据都是存下来,存到静止的数据库里头,然后再分析。而大数据每时每刻都有,说几毫秒就要送一个数据出来,飞机引擎也是不断的送数据出来,数据根本没有停止的时候。
“我们不可能等数据停下来再来分析,我们必须一边走一边分析,怎么办呢?过去的分析是静止的,叫做“带数据进程序”,现在的分析是在活动的,也就是“带程序进数据”。所以大数据分析也会带来很大的挑战。”
“另外,更难的挑战是非结构化的数据。所谓结构化就是说可以用文本表格等方式来表达,即便文本表格表达从语意理解还是比较难的。地震的时候,络上为了监控舆情,看看究竟是正面的评论多还是负面的评论多,有一条信息说“当他发现他儿子还活着的时候,他抱头痛哭。”按照分析,“痛哭”肯定是负面的。但实际上这是正面的。这是因为什么呢?要让计算机懂得人的感情,这就难了。文字的分析况且这么难,那么对照片的分析就更难了,要通过r扫描出里面的文字,把文字作为标签加到照片上。照片还好说一点,而视频分析就更难了,你怎么找这个人?去年1月份周克华在南京杀了人,当时摄像头把他拍下来的,南京市调出几十万个摄像头视频,拍多长就要看多长,没有分析的办法就靠人看,所以这是很慢的。因此大数据互换智能化的处理、智能化的分析。
“另外,大数据需要虚拟化和可视化。”吴院长说道:“举个例子,上海江苏路,路上有很多摄像头,每个摄像头背后连一个电视屏幕,在交通管理中心的一面墙上放了很多屏。当然了,再大的墙壁也放不下全上海这么多交通摄像头,所以只能10秒钟显示一条马路的摄像头,这些都是分离的,一个一个看很难看出问题。”
“我们希望通过软件把这条马路的摄像头合成一个视频,只要看这个视频就知道全马路摄像头的状况了。当然只有一条马路还不够,我们还要把它合成全上海一幅图,就像上海市领导坐着直升机俯视上海一样,看到上海市整个城市里头,在东京北纬某个纬度,在某个时刻段,哪段路交通堵塞。大数据,无论数据有多大,无论是pb还是tb,最重要结果都应该非常直观的一幅图。”
吴院长的演讲比较长,但是并不难懂,也不会枯燥,因为他举了很多例子,让大家更直观的知道一些细节技术和发展趋势。