可校正存储:数据压缩和数据库校正下推

时间:2020-08-06 04:21 点击:140

原题目:可计算储存: 数据编码和数据库查询计算下推

作者简介

创作者:熊中哲,新任才云科技工程项目VP,承担商品和产品研发工作中。曾任职于阿里巴巴网、沃趣高新科技、美团外卖。超出十二年数据库查询行业的工作经验,现阶段对云原生,深度学习和对映异构计算也特别喜爱。

“摩尔定律无效“指的是什么?

2017年2月9号《自然》杂志期刊的《The chips are down for Moore’s law》写到将要出版发行的国际性半导体材料技术路线图已不以摩尔定律(Moore’s law)为总体目标,集成ic制造行业50年的神话传说终被摆脱。

Figure. 1

范畴的摩尔定律指每18到24个月,集成ic上晶体三极管集成化的相对密度会翻一番或是价格波动一半,它联接了价钱和处理速度。但大家广泛所探讨的是摩尔定律实际上包括"摩尔定律"、"登纳德放缩"和"波拉克规律"三个关键规律。

登纳德放缩基本定律(Dennard Scaling)的关键见解是,伴随着晶体三极管相对密度的提升,每一个晶体三极管的功能损耗会降低,因而,每立方毫米硅的功能损耗基本上是稳定的。因为硅的计算工作能力伴随着每一代新技术应用的发展趋势而提升,计算机将越来越更为环保节能。

波拉克规律(Pollack's Rule)则强调,同制造加工工艺下,CPU的性能提高力度,是集成ic总面积(晶体三极管总数)提高的平方根。

登纳德放缩基本定律( 严苛说成预测分析)在2012年刚开始明显减速,并在二0一二年基本上消退,如下图所显示:

Figure. 2

因此 ,常说的“摩尔定律无效”指的是根据三个关键规律搭建的用户价值三角(价钱、处理速度和性能)的无效。

对映异构计算

2017 年图灵奖获奖者John L. Hennessy and David A. Patterson在她们的文章内容《A New Golden Age for Computer Architecture》中强调根据对映异构CPU可靠性设计時间和成本费。

As the focus of innovation in architecture shifts from the general-purpose CPU to domain-specific and heterogeneous processors, we will need to achieve major breakthroughs in design time and cost.

对映异构计算指将不一样管理体系构架不一样指令系统(精简指令集和繁杂指令系统)的计算模块组成应用,将最好的每日任务交到最善于的计算模块(包含CPU、GPU和FPGA等),较大水平充分发挥各种计算模块的优点。

可计算储存和数据编码

可计算储存可简易的了解成在原来的移动存储设备(例如NVMe SSD)上累加计算模块(例如FPGA),并由该计算模块加快跟储存立即有关的计算每日任务,完成CPU计算每日任务卸载掉(Offload)。但持久化运用的相对性繁杂,假如不可以洞悉遭遇的关键难题、了解现有计划方案的选择(Tradeoff)和明确提出创新能力的方案设计,可计算储存难以充分发挥真实使用价值。计算机系统架构鼻祖Yale Patt专家教授曾明确提出的Look backward(to the past),Look forward(to the future),Look up(to the problem)和Look down(to the device)在储存行业一样可用。

Look up(to the problem),储存完成信息内容超越時间的传送,对它的埋怨始终是“不足快,不足大”。SSD的出現巨大的提高了储存性能(IOPS和Latency),可是逐渐降低的价钱依然无法跟上数据信息爆发式的提高。SSD的特点决策 容积不但危害成本费,也危害性能。SSD不可以像运行内存和机械硬盘立即遮盖旧数据信息,只有擦掉Block后才可以载入在其中一个“整洁”的Page。当SSD剩下室内空间越来越少,出現很多数据信息残片时,就需要载入全部Block数据信息,将合理数据信息再次写到早已擦掉的Block。这一全过程叫Garbage Collection (GC),造成 写变大(Write Amplification)。单独擦掉实际操作延迟时间是写实际操作延迟时间的好几倍,而写实际操作的延迟时间也是读实际操作的几十倍。在混和读写能力的情景,GC会引起廷时颤动,危害性能。为减少GC頻率,SSD不但会提升GC优化算法(例如“greedy reclaiming policy”),如下图所显示:

另外也会空出室内空间(也叫OP: Over Provision),公司级SSD的OP一般是28%,消費级SSD內部的OP一般是7%。IBM研究所的有关科学研究强调剩下室内空间为10%时 写变大在3.5倍和4.5倍中间,剩下室内空间为30%时写变大可降低为0.2,如下图所显示:

因此 降低载入的信息量,不但节约室内空间,也提升性能。对于不一样情景,业内出示了许多 压缩算法,例如zstd,zlib,brotli,quicklz,lzo1x,lz4,lzf,snappy...。目前的解决方法可简易梳理成软缩小(根据CPU)和硬缩小(根据加速卡)。

《硅谷》中年青的计算机奇才Richard创造发明的跨越基础理论極限的压缩算法“middle-out”,并从而建立了Pied Piper企业。

软缩小(根据CPU)

如圖所显示,缩小和缓解压力彻底由CPU出示算率。“放弃”CPU資源获得储存空间,存有个突显的难题:

CPU占领:会占有很多CPU資源,另外也会跟运用占领CPU資源。 数据信息拷贝造成 的网络带宽占领:在主存和CPU中间引进经常且很多的数据信息拷贝(DRAM
当前网址:http://www.5f1cfyvl.tw/182tymianfeishipinzuixindizhi/136872.html
tag:性能,摩尔定律,计算,如下图,数据,异构计算,晶体管,所示,

发表评论 (140人查看0条评论)
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
昵称: 验证码:点击我更换图片
最新评论

Powered by 182ty免费视频 @2014