登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
如果你听说过BitTorrent(比特流),那么下面这些内容听起来应该会很熟悉。在BitTorrent上,网络用户不需要任何中央机构授权就可以将大数据文件分成更小的块或片段(每个块都有一个唯一的ID)。要下载一个文件,你只需要一个“神奇”数字,也就是一个哈希(hash),即内容的指纹就行了。然后,你的BitTorrent客户端将会按照“内容指纹”找到那些拥有文件片段的用户,并从他们那里把一个个文件片段下载下来,直到你拥有所有的片段。
一个有趣的点是如何去匹配用户。BitTorrent使用了一种名为Kademlia的协议。在Kademlia,网络上的每个对等点都有一个唯一的ID号,其长度与唯一的块ID相同。它会将一个带有特定ID的块存储在一个节点上,该节点的ID与该块的ID“最接近”。块和网络对等点的随机ID,在整个网络中存储的分布应该是相当一致的。不过,块ID并不需要随机选择,而是使用一种加密散列——这是块本身内容的唯一指纹,这是有好处的。保证这些块是可寻址的。这也使得验证块的内容更加容易(通过重新计算和比较指纹),并能够保证用户不可能下载原始的数据之外的其他数据。
另一个有趣的特性是,通过将一个块的ID嵌入到另一个块的内容中,你可以将二者以一种不会被篡改的方式连接在一起。如果链接块的内容发生变化,它的ID将会改变,链接也会被破坏。如果修改了嵌入式链接,那么包含块的ID也会随之改变。
这种将一个区块的ID嵌入到另一个区块的机制,使得创建这样的区块链成为可能(比如为比特币和其他加密货币驱动的区块链),甚至是更复杂的结构,通常被称为有向无环图(DirectedAcyclicGraphs),简称DAG。(在RalphMerkle发明了这种链接之后,通常被称为“Merkle链接”。所以,如果你听到有人在谈论MerkelDAGs时,你大概能知道他们在说什么。)MerkleDAG的一个常见例子就是Git存储库。Git将提交历史和所有目录和文件都保存在一个巨大的MerkleDAG中。
这就导致了基于内容寻址的分布式存储的另一个有趣特性:它是不可变的。内容无法改变。取而代之的是,新的修订被存储在现有的修订版本旁边。在两次修订之间没有变更的块会被重用,因为根据定义,它们具有相同的ID。这也意味着相同的文件不能在这样的存储系统中复制,转化为高效的存储。所以在这个新网络上,每一张独一无二的搞笑图片都只存在一次(尽管在整个群体中有多个副本)。
像Kademlia,Merkle链和MerkleDAG这样的协议,给我们提供了建模文件层次和修订时间线的工具,并在一个大型的P2P网络中分享它们。已经有一些协议使用这些技术来构建符合我们需求的分布式存储。看起来很有希望的是IPFS。
名称和共享问题
好了,通过以上这些技术,我们可以解决我在开始时提出的一些问题:我们在连接到网络的设备上得到分布式的、高度冗余的存储,这些设备可以记录文件的历史,并在需要的时候保留所有版本。这(几乎)解决了可用性、容量、持久性和内容验证问题。它还解决了带宽问题——因为都是使用点对点传输数据,因此不会出现服务器承受不了的情况。
我们还需要一个可扩展的计算资源,但这并不难:现在每个人的笔记本电脑和手机都比大多数应用程序所需要的功能更强大(包括相当复杂的机器学习计算),而且计算通常都是可伸缩的。因此,只要我们能让每一台设备都为用户做必要的工作,就不会出现大问题。
所以现在我在Slack上看到的搞笑图片可以来自坐在我旁边的同事,而不是来自Slack的服务器(在这个过程中没有跨越任何“海洋”)。不过,为了发布一张搞笑照片,我需要更新一个通道(channel)(也就是说,通道将不再是我发消息之前的样子了,它将会发生改变)。这个听起来相当简单的事情却是整个体系中最难的部分。
最困难的部分:实时更新
一个实体的概念会随着时间的推移而改变,这实际上只是人类专属的想法,让世界在我们的头脑中拥有秩序感和稳定。我们还可以把这样的实体看作是一个身份或名称,随着时间的推移,它会呈现出一系列不同的价值(这是静态的,不可改变的)。(RichHickey在他的演讲中解释得很好,戳此观看)。在电脑中模拟信息是一种更自然的方式,会产生更自然的结果。如果我告诉你一件事,我就再也不能改变我对你说的话了,也没办法让你忘却。例如,美国总统是谁,不会随时间而改变;只是会被同样性质(身份和名字)的其他事实(人)所取代。在Git的示例中,一个ref(分支或标记)可以在不同的时间点指向(持有一个ID和一个值)不同的提交,并提交一个提交来替换当前所持有的值。Slack通道也代表了一种身份,随着时间的推移,它的价值也在不断增长。
真正的问题是,我们并不是唯一一个拥有通道的人。很多人试图发布消息和改变通道,有时是同时进行,需要有人来决定结果应该是什么。
在中心化的系统中,当前几乎所有的web应用程序,都有一个中央实体来决定这个结果,并对事件进行序列化。然而,在一个分布式系统中,每个人都是平等的,因此需要有一种机制来确保网络上能够达成共识。
对于一个真正的分布式网络来说,要想解决这个问题,最困难的问题就是我们今天正在使用的所有应用。它不仅会影响并发更新,还会影响其他需要“实时”更新的更新——随着时间的推移,“真相的单一来源”正在发生变化。这个问题对于数据库来说尤其困难,它也会影响到其他关键服务,比如DNS。以分散的方式为特定的块ID或一系列ID注册一个人的名字意味着每个参与者都需要同意一个现有的名称有一个特定的含义,否则两个不同的用户就可以看到两个不同的文件在同一个名称下。基于内容的寻址解决了机器的问题(记住一个名字只能指向一个特定的匹配内容),而不是人类的问题。
在处理分布式的共识方面,有一些主要的策略。其中一个问题是,选择一个相对较小的“群体”经理,他们的机制是选出一个决定真相的“领导者”(如果你感兴趣的话,看看Paxos和Raft协议)。所有的变化都要经过这些经理。这实质上是一个集中式的系统,可以弥补网络中的中央决策实体或中断(“分区”)的丢失。
另一种方法是像比特币区块链这样的基于验证的系统,在这种系统中,通过让用户解决一个“难题”来编写一个更新(例如,在Merkle链中添加一个有效的区块)来达成共识。这个“难题”很难解决,但很容易就能查到,如果冲突仍然存在,还需要一些额外的规则来解决。其他几个分布式的区块链使用了基于验证的共识,同时减少了解题所需的能源需求。如果你感兴趣的话,你可以在BitFury这份白皮书中读到的相关的证据。
针对具体问题的另一种方法是围绕着CRDT——无冲突的复制数据类型,这在特定情况下根本不会遭受共识问题的困扰。最简单的例子是一个递增的计数器。如果所有更新只是“添加一条”,只要我们确保每次更新只应用一次,顺序就不重要,结果将是相同的。
这个问题似乎没有一个明确的答案,可能永远也不会只有一个答案,但有很多聪明的人正在努力解决这个问题,而且已经有很多有趣的解决方案可供选择。你只可以对其进行权衡。这种取舍通常体现在你“瞄准”的群体的规模上,并从你愿意让渡的共识中挑选出的一种特性——可用性或一致性(或者,从技术上讲,是网络划分,但在一个高度分布的系统中,这似乎很难避免,就像我们正在讨论的系统一样)。大多数应用程序似乎都支持可用性而不是即时的一致性——只要状态在合理的时间内是一致的即可。
公共文件网络中的隐私问题
需要解决的一个明显问题是隐私问题。即如何在不公开的情况下将内容存储在分布式的集群中呢?如果它能够隐藏东西,那么内容地址存储是一个不错的选择,因为为了找到某样东西,你需要知道它的内容的散列。所以本质上我们有三个层次的隐私:公共的、隐藏的和私密的。对于第三个问题的答案似乎是在密码学中-对存储的内容进行强加密并且要有“外在”的共享密钥(比如用纸分享、NFC设备传输或者扫描二维码等)。
依赖于加密技术一开始可能听起来很冒险(毕竟,黑客总是会发现漏洞),但实际上并没有比我们今天做的更糟糕。事实上,这在实践中有可能会更好。企业和政府通常以无法与公众分享的方式存储敏感数据(包括数据所涉及的个人)。相反,只有拥有这些数据的组织所雇用的数量不多的员工才能够访问,而且至少在密码方面受到保护。通常情况下,如果你能访问存储这些数据的系统,你就可以拥有所有这些数据。
但是,如果我们转而以一种本质上是公开的方式来存储私人数据,那么我们就不得不保护它(使用强大的加密技术),这样对任何获得访问权限的人来说都是不好的。这个想法与安全相关软件的开发者开源代码的初衷是一样的,这样任何人都可以查看并发现问题。知道安全系统是如何工作的,不应该帮助你打破它。
这种对访问的控制一个有趣特性是,一旦你授予某人访问某些数据的权限,他们就会永远对数据进行修改。当然,你可以随时更改加密密钥。这也并不比我们今天的情况更糟,尽管它可能并不明显:只要获得一些数据的访问权限,任何人都可以复制它。
这一领域的有趣挑战是,在一群需要随时间推移而改变的人群中建立一个能够验证身份并共享私有数据的良好系统。例如,在一个私有的Git存储库中有一组协作者。这绝对可以通过一些私钥密码和旋转密钥的组合实现,但让用户获得流畅的体验可能是一项挑战。
从云到雾
尽管要解决一些难题,我们从云计算中迁移出去,将会是一个非常令人兴奋的未来。首先,在技术方面,我们应该从点对点网络中获得相当多的改进。内容可寻址存储可以在不受信任的授权情况下,提供对内容本身的加密验证,并进行永久的托管(只要有人对它感兴趣),我们应该能看到其速度的显著提升,即使是在远离数据中心的发展中世界的边缘(甚至是在另一个星球上)。
在某个时候,甚至连数据中心都可能成为历史。消费设备变得如此强大,无处不在,计算能力和存储空间几乎随处可见。
对于运行web应用程序的企业来说,这一变化将会节省巨大的成本。企业也将能够减少对宕机风险的关注,更多地关注增加客户价值,让所有人受益。我们仍然需要云托管服务器,但它们只是众多同类服务器中的一种。我们还可以看到更多样化的应用程序,在这些应用程序中,并非所有的应用程序都是一样的——在同一个应用程序中,有面向消费者的和后台的,而差别只是访问权限不同而已。
对企业和客户来说,另一个巨大的好处是对客户数据的处理。当不再需要集中存储大量的客户信息时,丢失这些数据的风险就会降低。软件工程界的领导者们(如Erlang的创始人JoeArmstrong,他的谈话很值得关注)长期以来一直认为,在互联网上,客户向企业的程序发送数据的设计是一种退化,企业应该向客户发送程序,以让他们能够执行私人的数据,而这些数据不会被直接共享。这样的模式似乎更安全,并且也不会以任何方式阻止企业收集他们所需的有用的用户指标。
而且,当前没有什么方式能阻止混合的服务模式,这些服务不透明,并保留了私人数据。
这种类型的应用程序架构似乎是一种更自然的方式,来提供大规模计算和软件服务,而且也更接近于开放信息交换的想法,任何人都可以方便地向他人转发内容,并控制可以发布和访问的内容,而不是由拥有服务器的私有实体来控制。
对我来说,这是非常令人兴奋的。这就是为什么我想要组建一个小团队,在几周内,用上面提到的一些技术来构建一个简单的移动应用,来证明概念,并展示可以通过点对点网络来做些什么。目前我所拥有的唯一一个足够小的想法,能够相对快速、足够有趣,足以证明这种方法的特性是一个点对点的、真正无服务器的克隆版Twitter,但这并不特别令人兴奋。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
北极星售电网获悉,6月25日,山东烟台市发展改革委发布第144322号:关于“高质量推进烟台实施绿色低碳转型”建议的答复。答复提出,能源结构优化方面。一是打造清洁能源示范高地,全国首个大规模近海桩基固定式海上光伏项目成功并网发电,实现山东海上光伏发电零突破,4大核电基地建设梯次推进,222万
位于呼和浩特市南20余公里的和林格尔新区,是国家“东数西算”工程八大枢纽、十大数据中心集群之一,也是国家大数据综合试验区的核心区。记者采访获悉,截至目前,新区46个数据中心项目总算力规模达9.1万P,其中智能算力规模达8.6万P。当地通过“风—光—储”一体化清洁能源供电方式为算力中心提供“绿
2025年6月23日,工业和信息化部等九部门关于印发《黄金产业高质量发展实施方案(2025—2027年)》的通知,通知指出,高端新材料应用:半导体用高纯低碳金(银)靶材和蒸发料、太阳能光伏银浆料、低温共烧陶瓷和片式多层陶瓷电容器等核心元器件用金浆料、生物医用金(银)材料、电接触金(银)及合金材
张海峰欢迎袁明一行的到访,并对华为公司长期以来给予内蒙古电力集团的关注和支持表示感谢。他表示,双方一直保持着良好的合作关系,希望进一步深化合作,创新合作模式,实现互利共赢;积极参与电力集团“十五五”电网规划编制,在技术、机制、产业等方面给予更多支持;在电力信息通信、大数据平台、构
近日,工业和信息化部等六部门联合印发《纺织工业数字化转型实施方案》(以下简称《实施方案》),聚焦新一代信息技术赋能行动、新模式新业态创新应用行动、产业高质量发展行动、夯实支撑基础行动等4个方面提出18项具体工作任务。《实施方案》提出,加速绿色化转型。推动纺织全产业链生产装备、用能单
北极星储能网获悉,6月23日消息,通辽市人民政府关于印发蒙东(通辽)绿色算力产业发展规划的通知,其中,打造绿色算力中心中提出,鼓励算力中心部署高效IDC设备,推广模块化UPS,支持算力企业探索利用共享储能、储氢、飞轮储能、锂电池等作为多元化储能和备用电源装置。优化算力中心能源、水资源、土
6月14日,随着金华燃机500千伏电力送出工程投运,今年浙江电网迎峰度夏重点工程全部投产。该工程起于金华燃机电厂,与500千伏双龙—兰溪电厂线路π接,并新建长12.36千米的500千伏金华燃机—双龙线路。该工程的投产可保障电厂发电可靠送出,增强金华地区电力供应能力。年初以来,浙江经济平稳向好,用
北极星输配电网整理了6月16日~6月20日的一周电网项目动态。浙江金华燃机500千伏送出工程6月14日,金华燃机500千伏送出工程投产。金华燃机500千伏电力送出工程总投资约1.4亿元,总长度12.36公里,新建38基铁塔,于2024年12月开工。项目起于金华燃机电厂,接入500千伏双兰、龙兰线。甘肃—浙江±800千伏
近日,经内蒙古电力集团内蒙古超高压供电公司全力推动、重点落实,内蒙古自治区电力能源重点项目——新区北500千伏输变电工程获自治区能源局核准批复。据了解,该工程建设地点位于呼和浩特经济技术开发区,总投资约4.91亿元,拟新建1座500千伏变电站,新建7.6公里线路。项目投产后,将有效缓解永圣域50
京能集团评标专家征集根据京能集团发展需要,现面向集团内部及社会开展评标专家公开征集工作,吸纳具备现场评标工作能力的专家入库,参加招标采购评标工作,有关要求和入库流程如下。一、基本要求评标专家人员需符合申报条件且自愿参加京能集团项目评标工作,能够自觉遵守招标投标法律法规及评标专家管
近年来,江苏省张家港市扬子江国际化工园创新建立了打通生产工艺链、污染控制链和监测监管链的系统化环境治理模式,为化工园区绿色低碳发展提供了有益探索。智能改造、低碳转型,升级绿色产业链扬子江化工园(以下简称园区)是长江流域最大的精细化工园区,建有国内最大的高性能涂料生产基地,生产过程
北极星碳管家网获悉,6月26日,工信部办公厅印发《关于深入推进工业和信息化绿色低碳标准化工作的实施方案》的通知。要点内容提炼如下:总体要求指导思想:以习近平新时代中国特色社会主义思想为指导,深入贯彻党的二十大和相关全会精神,贯彻新发展理念,落实中央经济工作会议和全国新型工业化推进大
北极星售电网获悉,6月26日,工业和信息化部办公厅印发《关于深入推进工业和信息化绿色低碳标准化工作的实施方案》的通知。文件提出,加强绿色低碳产业培育标准引领。加快工业绿色微电网、工业领域清洁低碳氢应用、中低温余热余能高效利用、超长寿命高安全性储能电池等多能互补利用标准制修订,加大工
在全球气候变化日益严峻的背景下,国家主席习近平于2020年在联合国大会上宣布了我国的“3060”目标,明确了碳达峰、碳中和(“双碳”)目标的内涵、基本路径和重点任务,“双碳”工作正式上升到国家战略层面。作为实现这一目标的基础性工作,碳排放核算体系的构建和完善尤为重要。碳排放核算是碳管理、
2025年6月23日,工业和信息化部等九部门关于印发《黄金产业高质量发展实施方案(2025—2027年)》的通知,通知指出,高端新材料应用:半导体用高纯低碳金(银)靶材和蒸发料、太阳能光伏银浆料、低温共烧陶瓷和片式多层陶瓷电容器等核心元器件用金浆料、生物医用金(银)材料、电接触金(银)及合金材
AI赋能电力产业:变革、挑战与对策中国海油集团能源经济研究院韩广忠王建明近年来,人工智能(AI)技术正以前所未有的速度改变着各行各业,全球电力产业无疑成为获得益处与遭受冲击最为明显的领域之一。从能源生产、输配到消费管理,AI正在全方位推动产业升级,促进数字化转型,并为实现低碳发展和可持
6月20日,军信股份公告,公司与长沙数字集团有限公司签订《战略合作协议》,双方利用各自优势,助力长沙、湖南以及“一带一路”国家和地区实现“绿色低碳+人工智能”协同发展。双方将围绕“无废城市”建设、环保数字化升级、绿色电力和智算产业协同发展等领域展开合作。在绿色算力中心建设运营领域,双
北极星储能网获悉,6月23日消息,通辽市人民政府关于印发蒙东(通辽)绿色算力产业发展规划的通知,其中,打造绿色算力中心中提出,鼓励算力中心部署高效IDC设备,推广模块化UPS,支持算力企业探索利用共享储能、储氢、飞轮储能、锂电池等作为多元化储能和备用电源装置。优化算力中心能源、水资源、土
今年以来,与电力相关的展会、峰会、研讨会大大小小不下百余场,大家除了热议《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号)对市场带来的颠覆式影响,最有热度的是西班牙大停电对市场影响的诸多思考。毕竟,这是人类历史上高新能源比例场景下,一次措手不
把握人工智能新机遇开启油气智能化发展新篇章中海油研究总院总工程师苏彦春2025年4月25日,中共中央政治局就加强人工智能发展和监管进行了第二十次集体学习。习近平总书记在会上强调,面对新一代人工智能技术快速演进的新形势,要充分发挥新型举国体制优势,坚持自立自强,突出应用导向,推动我国人工
6月11日,SNECPV#x2B;第十八届(2025)国际太阳能光伏和智慧能源amp;储能及电池技术与装备(上海)大会暨展览会盛大开幕。在这场光伏行业的年度盛宴中,创维光伏以开启全民光伏新时代为主题,携多款创新产品和商业模式震撼亮相,向世界展示了中国光伏企业的创新实力和普惠理念。技术跃迁:创维光伏开启全
6月4日,由国网辽宁省电力有限公司主导编制的国际标准《基于分布式账本的储能共享系统框架》在国际电信联盟电信标准化组织(ITU-T)发布。这标志着该公司在“区块链+储能”领域积累的经验获得国际认可,进一步巩固了企业在分布式能源安全领域的国际话语权。国际电信联盟作为联合国主管信息通信技术事务
6月26日,国家发展改革委召开6月份新闻发布会。国家发展改革委政策研究室副主任李超回答了记者关于“近年来我国风电、光伏等新能源产业快速发展,但在消纳方面仍面临压力。请问相关部门在促进新能源消纳方面采取了哪些具体措施?目前取得了哪些阶段性成效?”的提问。李超表示,截至今年5月底,我国风
一边是海上风电超长的产业链系统,一边是有雄厚基础的国家老牌工业基地。当辽宁省绿色发展与海上风电产业相互碰撞,会擦出什么样的火花?在日前召开的2025海上风电大会上,辽宁省发改委主任周轶赢指出:辽宁将发挥工业基础优势,争做世界风电产业中心先进装备制造领跑者,为全球绿色可持续发展提供辽宁
6月25日,国家发改委举行6月份新闻发布会。国家发展改革委政策研究室副主任李超回答了记者关于“近年来我国风电、光伏等新能源产业快速发展,但在消纳方面仍面临压力。请问相关部门在促进新能源消纳方面采取了哪些具体措施?目前取得了哪些阶段性成效?”的提问。李超:截至今年5月底,我国风电、光伏
6月25日,湖南省能源规划研究中心、能源碳中和发展研究中心(以下简称“中心”)和湖南能源协会在长沙联合发布《湖南省能源发展报告2025》(以下简称《报告》),湖南省能源局局长汤吉鸿、国家能源局湖南监管办党组成员李德刚,中国能建中电工程湖南院法定代表人、党委副书记、总经理、中心主任雷远华
第三章nbsp;石油行业发展(来源:中能传媒研究院本章作者nbsp;杨永明)(中能传媒能源安全新战略研究院)一、原油供需01原油表观消费量出现同比下降根据中国石油和化学工业联合会的统计数据,2024年,我国原油表观消费量7.64亿吨,同比下降1.0%。2024年,受国内宏观经济结构性调整、替代能源加速发展等
极端高温推动用电需求创新高,美国多个电网发布能源紧急警报。据媒体报道,2025年6月25日,由于天气炎热,新英格兰电网(ISONewEnglandInc.)发布了第一级能源应急警报。此次警报涉及美国康涅狄格州、缅因州、马萨诸塞州、新罕布什尔州、罗德岛州和佛蒙特州。高温天气导致用电需求上升,可能对电网造成
在全球环境问题日益严峻的背景下,能源转型已成为各国共同面对的重要挑战与机遇。由世界经济论坛(WorldEconomicForum,WEF)发布的《2025年促进有效能源转型》报告为我们提供了深入了解这一复杂议题的机会。该报告分析了118个国家的能源转型指数(EnergyTransitionIndex,ETI),还探讨了各地区在推进能
在构建以新能源为主体的新型电力系统进程中,高比例清洁能源并网已成为显著发展趋势。国家能源局最新数据显示,2025年第一季度我国风电、光伏发电总装机容量达14.82亿千瓦(风电5.36亿千瓦,光伏9.46亿千瓦),历史性超越火电装机规模(14.51亿千瓦)。随着风光新增装机持续放量,新能源装机规模领跑传
6月10日,正泰新能携手巴西光伏分销市场领导者AVTEnergy联合启动的首站路演活动于里贝朗普雷图顺利落幕。正泰新能巴西渠道销售经理DavidSanfinsdeOliveira发表演讲,并与巴西行业专家及合作伙伴深入交流,共同探讨巴西光伏市场的最新发展趋势与技术解决方案。DavidSanfinsdeOliveira演讲DavidSanfinsde
一个深刻的转型正在发生:历经规模扩张的竞速圈地,新能源与储能产业已行至从“量的增长”向“质的飞跃”全速转型的拐点,科技革命的纵深发展,也在改写能源需求的底层逻辑。当代用户对能源的需求已从“有没有电”的基础供给,升级为“能源与场景深度耦合”的智慧化诉求。光储技术体系正经历从“孤立的
2025年6月20日-21日,2025国家能源互联网大会在杭州国际博览中心成功举办。本届大会由清华大学、国家电网公司联合主办,清华大学能源互联网创新研究院、杭州市萧山区人民政府、国网浙江省电力有限公司杭州供电公司、中国能源研究会承办,清华四川能源互联网研究院、清华大学碳中和研究院、清华大学国家
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!