此文主要描述了基于区块链技术的文件存储系统的出现，以及它对于整个体系的影响。基于区块链的文件存储(BFS)是除了中心化存储和无激励模式的P2P文件系统之外，另一种更有前景的备选方案。如果BFS可以解决其中的使用以及技术难题，那么它就有可能成为全新的存储架构，从而促进去中心化互联网的形成。
简介
最近，很多人开始关注去中心化系统，因为这可以去除中介化，创建全新的经济规模，并且为用户提供前所未有的数据掌控能力。智能合约功能可以让用户能够创建拥有这些优势的应用。通过这些工具，用户可以快速获得被称为去中心化网络(或者web3)的全新互联网体系，其中所有的应用都会比现在更加强大，而且去中心化的应用会基于经济且安全的区块链系统开发。
但是，很快我们就发现，作为"去中心化操作系统"，如果在不进行性能优化之前，区块链还不能运行类似加密猫这类对资源和效率需求很高的应用。这类事件让更多人关注，并且在现有的底层基础上，去尝试进行性能创新以及提升，从而保证可以生产出有用的去中心化应用。
例如，区块链本身是一个非常差劲的存储装置，我们需要知道一个非常重要的事实， 区块链存储文件的性价比很低。事实上，一个由数千个用户共享的账本，其中每个用户之间都需要复制每一段数据，这会导致区块链不能够承载超过兆字节的数据。
因此，对于去中心化系统的很多重要技术开发都应该在区块链之外- 例如第二层解决方案，私有P2P网络解决方案，存储文件等等。实际的区块链和其他独立部分会组成起来，共同构建这个去中心化互联网。
Web3堆栈
虽说去中心化系统具有划时代的意义，但是如果底层技术拥堵，并不会有很多人愿意加入去中心化互联网，这也意味着去中心化的技术堆栈(除了去中心化资产)比起现有的不能太差。
目前，堆栈的任何部分都不完整，DNS、存储和计算层的开发处于特别早期。我们都知道的典型口号是："我们将利用区块链不可篡改等优势，去构建一个DAPP，就算需要将文件存储在中心化的地方，也没有关系。
我想说，就算基于区块链，我们可以打造所谓的应用，可以得到应用，但是这些应用也并不是"去中心化应用"，因为其中的数据并没有通过可信的、去中心化的方式来进行存储和交易。换句话说，虽然这些应用程序在其他方面有很多优势，但是并不一定是因为它们是完全去中心化的。
这就带出了我的核心观点：
基于区块链的文件存储系统 -> 去中心化数据 ->去中心化互联网
BFS将会是支持web3架构的支柱，BFS会通过去中心化数据去促进去中心化的互联网体系。因为没有真正的去中心化数据，就不会有真正的去中心化应用，也不会有真正的去中心化互联网体系。
和其他存储解决方案相比，安全、公平且经济的BFS系统对于通用系统以及web3架构来说，都有很多好处和优势。随着BFS的知名度逐渐增大，我也会分析其中可持续发展的技术和商务壁垒。
一、中心化云存储开始主导市场(20世纪90年代-现在)
20世纪90年代，文件都是存储在不同的服务器中，而且用户可以直接从计算机中调取数据。虽然用户能够自主完全地控制文件，但是设置这些服务器却需要丰富的互联网和加密方面的经验，以及很多时间。
最初，这看似并没有什么问题，因为在1997年，整个互联网也就1.5TB的数据，而且当时互联网的综合价值也不像现在这么巨大。当时非常着名的计算机专家总结地很好："现在，所有的信息加起来可能也就几千兆字节;到2000年，磁带和磁盘的生产将达到这个水平。"
这种情况在近些年逐渐改变，因为目前计算机到计算机的交互会产生比人类本身更多的数据，而且这些数据对于用户和企业都很重要，因为这会让他们找到全新的方式来从数据中获得相关结论，例如人工智能、超高清视频以及金融模型。
用户对于存储、持有以及分析这些数据的需求变得越来越多，并且他们自己也很难去掌控这些数据。2018年，现在已经有大约32ZB(也就是32,000,000,000 TB)的数据。
这是亚马逊的切入点，因为亚马逊把自己打造成为了电商行业的重要玩家，他们需要开发很多的内部API和底层设施，从而掌控和他们业务相关的海量数据(23.550, 0.34, 1.46%)。现在，亚马逊团队打造了完整的内部软件集合，从而帮助他们很多部门节省了很多时间，因为这不需要担忧基础设施。
其中，2006年，亚马逊S3和EC2发布，预示着中心化云时代来临。
云服务让用户能够很容易地进入到亚马逊各类强大的工具，并且由于使用起来非常简单，这可以满足很多企业的存储需求。亚马逊(在微软、谷歌和类似Facebook的私有云之后)，逐渐获得了更多的互联网数据。
个人用户会丢失对他们数据的主权和控制能力，而且如果有1个故障点，大量的数据持有者会成为数据破坏、数据丢失以及服务器宕机等问题的受害者，从而导致了几十亿美金，以及人类知识和文化的损失。这些问题，包括越来越多的人了解到大型中心化云端服务器可能会破坏个人以及企业的隐私，在思想上和实际上都推动了反对数据集中的运动。
作为去中心化互联网的一部分，亚马逊S3由于简单好用成为了很多人的选择。大量的DApp目前都在使用亚马逊的服务，来启动他们的产品，承诺去中心化数据的未来，又或者是告诉别人，就算没有去中心化的数据，你依旧可以获得去中心化应用。
但是，数据集中是一个根本性的严重问题，它使托管在集中云上的应用程序或基础设施并没有去中心化。这个互联网只是一堆互相传送文件的计算机，中心化的存储导致中心化数据，从而导致中心化网络。
因此可以推论，好的去中心化存储方案解决了去中心化网络的遗留问题。尽管web3很多其他的组成部分被攻击了，数据最终都能够通过可信的方式被提取。尽管公链本身在没有去中心化存储的情况下，并没有完全去中心化，因为这就好像大多数的区块链主节点是使用中心化云端存储解决方案。
去中心化存储打造去中心化数据
二、挑战出现：点对点的文件存储系统(2001年-至今)
点对点的文件存储系统作为中心化云服务器的替代品出现，并且还没有中心化的风险。亚马逊S3出现的5年前，BitTorrent已经让文件在用户之间有效地传输。2009年，点对点的应用占据了50%的互联网流量。虽然BitTorrent可以让用户能够互相分享文件，但是这不能像亚马逊S3或者Dropbox那样，让你存储和寻找文件;因此这并不是文件存储的解决方案。
IPFS想在BitTorrent的基础上，打造真正的点对点、去中心化的文件存储系统。在IPFS中，所有的文件都会集中起来，其中会有通用的语言，并且所有的用户都会在整个系统中共享，这可以让他们寻找并且互相转移文件。
例如 Internet Archive的企业以及很多DApp都开始尝试使用IPFS来进行文件存储，并且宣传说它们的架构是去中心化的。对于很多最初的案例来说，IPFS是绝对足够了。
因为IPFS把用户都集中在一个系统(其中各个用户可以通过去中心化哈希表格(DHT)来寻找对方)，所以通过IPFS协议会产生通用的沟通语言，并且不会存在单点损坏，IPFS对于全新的去中心化互联网来说，确实是去中心化存储的基础。显然易见，很多知名的DApp例如OpenBazaar 和Augur都在使用IPFS。
但是，非常不幸，对于社区项目以及开源热爱者来说，IPFS的快速扩展还存在一些底层方面的问题。以下是最主要的一些问题：
1. IPFS中的文件会被分发到更多节点，但是由于这些节点并没有特别多的激励去持有这些文件，因此访问量很少的文件逐渐就会消失。这就会导致很多商业应用，例如需要长期保留的视频，或者是以前的区块链无法使用。
2.虽然DHT让用户能够在IPFS中很快地检索到对方，并且找到文件，但是对于文件检索来说，DHT并不安全。这意味着，恶意的攻击者只需要花费很少的成本，就可以让你找不到特定的文件。
许多项目通过将文件存储在中心化Amazon S3计算机托管的IPFS节点上，从而修补了第一个问题。这意味着，你会自己持有几个亚马逊S3节点，从而保证你的文件会一直在IPFS网络(主要亚马逊节点仍在工作)。但是，中心化的问题再次出现，这影响了使用IPFS的意义。为了让去中心化数据更好，我们需要地是从这些系统中汲取灵感，但是增加一个激励层，同时也有更加强大的安全保障，最终打造出和中心化数据有着同样扩容能力的去中心化数据。
三、基于区块链的文件存储系统(2020年后)
公链使用加密激励和惩罚制度，从而引导不受信任的用户行为达到期望的共识。因此，带有强大加密激励系统的BFS由去中心化技术堆栈的其他部分所支撑，例如安全的DHT替代方案，这样就可以保证IPFS是事实上的去中心化互联网基础设施。
对于去中心化互联网，理想的文件存储解决方案需要比中心化方案更好，那就是去中心化解决方案。
在一个良好的应用场景中，网络中每个存储供应商都有大量的存储空间，并且这些存储和带宽能够有效地进行加密保障。BFS具有创新以及技术的全新应用，例如纠错编码，存储证明以及空间证明。很多充满创新的玩家进入到大家的视野，同时也有几十个项目通过各种方法在技术和产品端进行创新。
遵守区块链规则的个人和参与的专业存储提供商的集合可能会削弱任何集中化公司的影响力，甚至是类似亚马逊这样的巨头。除了去除中介的数据交易，基于区块链的解决方案会有以下优势：
1. 可以让你控制自己的数据，并且可以防止审核
通过加密激励，如果节点没有存储和服务数据，那么就会受到经济上的惩罚。当数据文件有非常高的容错率时，企业甚至政府机构会发现很难去记录它们。由于去中心化，其中不会有中介(例如谷歌\/AWS)去代替你管理数据。
2. 对严重的黑天鹅事件和网络宕机有很强的抵抗力
通过传统分片或者是纠错代码的方式，文件可以进行分片，让很多人共同持有。如果有足够的节点，那么自然灾害、人类\/计算机错误、以及其他的任务都会难去影响这个系统。
3. 和中心化系统相比，拥有很大的优势
由于很多节点存储了文件的不同部分，因为下载文件是可以同步进行的。正如在BitTorrent中，同步下载会比中心化云服务器要快速很多。
4. 大概率价格很低，可以创建新的经济模式
存储和数据已经被很多人认为是价值，并且很多的硬盘空间都是空置的。存储提供方可以利用这些硬盘资产变现。由于存储文件的成本会比硬盘本身低很多，因此存储只需要很少的成本，也就是说，存储服务提供商可以保证纯利润。现在的解决方案已经向用户展示了成本大量节省：Sia成本大约小于2美金\/TB\/月，而S3的标准服务成本是23美金\/TB\/月。
对于去中心化互联网，理想的文件存储解决方案应该比中心化的要更好，也就是去中心化的存储方案。BFS可以获得中心化的用户体验，同时还有IPFS的去中心化服务。中心化的主要问题在于，他们是属于中心化的。换句话说，完美的BFS是完美的文件存储解决方案;它需要使用去中心化数据把关注去中心化的用户人群从中心化解决方案转移过去，因为这种转移只需要有相对很小的损失。
四、基于区块链的存储系统还有很多问题需要解决
关于BFS相对于IPFS和中心化解决方案的好处，在之前的章节中都有提到。事实上，这两个最着名的生产级存储项目在2018年的实际存储量比大型云提供商在2016年少数千倍，预计未来几年，云存储的总存储容量将大幅增长。和很多区块链用户以及传统企业沟通后，得出一个结论：在去中心化互联网颠覆中心化解决方案之前，还有很多需要去做。亚马逊S3和其他都有功能和优化，以及目前无法和基于区块链解决方案或者IPFS匹配的使用方案。大量实践均面临着需要检测技术和使用性问题。
基于区块链的内容存储系统依旧非常年轻
1. 技术方面
亚马逊S3目前在上传和下载方面有着巨大的优势，同时也有范围更大的功能应用。
从文件上传角度来看，去中心化解决方案和中心化相比，效率会更低。总体来看，视频上传是通过去中心化市场进行，其中文件存储供应商以及存储"购买方"需要相对符合。这种撮合和沟通的过程，以及个人节点处理速度比企业级中心化电脑要低很多，都是去中心化文件上传的瓶颈。当上传资料给某个人(通过链上验证存储合约)，系统需要很长的首次启动时间(上传延时);又或是首先上传，然后让文件上传交易(其中买卖双方撮合成功)会存储在认证的区块中，整个过程需要几秒到几分钟时间。
例如同步上传等解决方案，其中不同的分片或者文件部分可以同时上传到不同的节点，从而最大化利用连接带宽，长期的购买方-提供方合约，批量链下买\/卖方匹配，同时存储内容协商可以通过链上(第二层解决方案)解决，并且更快的共识\/共有效的区块传播技术正在开发。
扩容困难也是影响区块链性能的主要问题，如果每个Tx指定要存储的50MB文件，并且每个块有25个存储交易，每30秒会出新块，那么整个系统每年可以存储大约1.3EB的数据，与大型云提供商目前存储的内容相比，这相形见绌。除此之外，现在还有很多瓶颈，例如存储证明机制速度还很慢，因此系统无法获得最大的使用能力。第2层解决方案和其他扩容方案可以解决这个问题，但是加密证明算法也需要更加有效。
下载速度和上传一样，也会遇到相同的问题，其中下载速度以及延迟问题会因为购买者\/提供者的撮合和沟通而导致，同时个人节点的运转速度也是问题。下载方可以提前支付下载需求(Sia，Stroj)，或者根据需求支付，例如提前下载(Filecoin)。通过提前下载的方式可以每次都使用购买方-提供方撮合以及支付的方式，如此尽管运算是在链下完成，所需要花费的时间也比中心化解决方案高很多。这些问题的解决方案和上传功能所需要的类似。
因此，基于区块链的解决方案还有很多功能不能实现。
例如，就目前的解决方案而看，每个下载者都必须要在区块链上是注册用户，并且拥有通证，但是在中心化云服务中，每个人都可以在自己的浏览器或者app上浏览内容，并且不需要任何基本知识(当然，这其实是使用上的问题)。目前的解决方案给予用户加密文件，但是由于交易信息是公开的，其他人也可以看到用户在将特定的文件哈希转移给别人。这对于很多企业来说是非常严重的问题，例如基因公司是不想让别人知道传输了哪些信息，也不想让这些数据公开(甚至是哈希值也不想公开)。
同时，设计有效的证明机制也非常困难(例如存储证明)，同时也很难保证上传对应的文件(上传证明)。另外，对于企业来说，他们希望所有的服务都够专业并且有保障。服务级协议(SLAs)以及文件权限许可(谁可以查看文件)是很难实施的，目前大多数功能还处于非常早期的开发阶段(我们现在只达到了中心化系统20%的水平)
2. 可用性
BFS和区块链本身的可用性是另外一个很大的问题。
区块链缺少和更多支付方式的结合是个大问题。BFS通常脱离DAPP用户的公链选择。例如，Filecoin、0Chain和Sia都有他们自己的区块链体系。DApp用户不会想去学习非常复杂的全新公链，以及如果去上传文件。跨链整合以及跨链支付可以让整个系统的使用变得更加容易。例如，NEO DApp的用户(也许有一些NEO和GAS通证)可以使用Gas通证，通过简单的API接口，就可以去上传文件。这样地化，BFS就无所谓是NEO本身，或者是跨链对接。理想情况下，所有通证支付的动态都需要尽可能直观。
其次，当用户想使用文件的时候，体验也很差。例如，无论你是上传者还是下载者，在Filecoin和Sia体系中，你必须下载整个区块链数据，这需要几个小时。然后，你需要在交易所创建账户，同时要能够理解加密货币以及钱包等。这和亚马逊S3是相反的，因为你可以通过网页界面管理所有的上传文件，并且所有的下载都是从用户终端那里抽象出来的，因此用户甚至都不知道文件来自浏览器何处，直到亚马逊垮了，并且记录了facebook和其他互联网部分的大量数据。显然，区块链和数字货币的用户体验提高还需要很长的时间，其中一个解决方案是把这些复杂的流程放到上传端，从而下载端可以通过简单的JS模块，无需安装就可以从浏览器使用。
五、基于区块链的文件存储与去中心化互联网的良性循环
去中心化网络可以打造无需中介的数据交换系统。这可以让互联网应用的新用户能获得到前所未有体验。正如Polychain资本的Olaf Carlson-Wee所说："我认为我们将会比较web2和web3，但是随着时间发展，我们会发现这些web3听起来都很科幻，而且我认为现在对于web3的发展还很模糊"。不论对于区块链数据、前端数据、元数据或者大型多媒体文件来说，存储和分享这些数据的工具对于这类数据交易以及实现去中心化都很重要。虽然BFS系统仍然在推进，但是我们可以更多关注，并且努力完成这项技术。基于区块链的文件存储系统并不只是概念，而代表了现在急于解决的问题。这样做，我们可以享受到来自去中心化解决方案的便利，同时也能获得中心化系统的快速和简易。
六、基于区块链的文件存储系统，促进了去中心化的互联网
去中心化数据造就了去中心化互联网。根据之前所描述，互联网其实就是由很多用于存储和转移数据的电脑，通过一系列通信协议相互连接形成的。去中心化数据是无需信任的，并且会通过去中心化的方式存储和分享数据。正如本文所写，现在有3200万个区块链钱包;现在已经有百万级用户享受到去中心化通信协议的便利(例如gossip协议、Tor等等)，并且可以通过无需信任的方式验证数据(区块两本身的性质)。但是，这些还并没有应用到真正运作的去中心化app，因为强有力的数据存储层目前仍然缺失。
去中心化互联网是否会完全取代中心化互联网，这取决于BFS是否能够战胜中心化服务，这还有待观察。随着去中心化存储应用的参与者越来越多，这也就为去中心化互联网带来了更多用户。希望此文能够为大家介绍基于区块链的文件存储系统以及它的重要性。
作者：Eric Wang是Archon Cloud的联合创始人，这个系统是基于区块链的文件存储系统，其中Eric主导了研发和其他相关工作。
