登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
如果你听说过BitTorrent(比特流),那么下面这些内容听起来应该会很熟悉。在BitTorrent上,网络用户不需要任何中央机构授权就可以将大数据文件分成更小的块或片段(每个块都有一个唯一的ID)。要下载一个文件,你只需要一个“神奇”数字,也就是一个哈希(hash),即内容的指纹就行了。然后,你的BitTorrent客户端将会按照“内容指纹”找到那些拥有文件片段的用户,并从他们那里把一个个文件片段下载下来,直到你拥有所有的片段。
一个有趣的点是如何去匹配用户。BitTorrent使用了一种名为Kademlia的协议。在Kademlia,网络上的每个对等点都有一个唯一的ID号,其长度与唯一的块ID相同。它会将一个带有特定ID的块存储在一个节点上,该节点的ID与该块的ID“最接近”。块和网络对等点的随机ID,在整个网络中存储的分布应该是相当一致的。不过,块ID并不需要随机选择,而是使用一种加密散列——这是块本身内容的唯一指纹,这是有好处的。保证这些块是可寻址的。这也使得验证块的内容更加容易(通过重新计算和比较指纹),并能够保证用户不可能下载原始的数据之外的其他数据。
另一个有趣的特性是,通过将一个块的ID嵌入到另一个块的内容中,你可以将二者以一种不会被篡改的方式连接在一起。如果链接块的内容发生变化,它的ID将会改变,链接也会被破坏。如果修改了嵌入式链接,那么包含块的ID也会随之改变。
这种将一个区块的ID嵌入到另一个区块的机制,使得创建这样的区块链成为可能(比如为比特币和其他加密货币驱动的区块链),甚至是更复杂的结构,通常被称为有向无环图(DirectedAcyclicGraphs),简称DAG。(在RalphMerkle发明了这种链接之后,通常被称为“Merkle链接”。所以,如果你听到有人在谈论MerkelDAGs时,你大概能知道他们在说什么。)MerkleDAG的一个常见例子就是Git存储库。Git将提交历史和所有目录和文件都保存在一个巨大的MerkleDAG中。
这就导致了基于内容寻址的分布式存储的另一个有趣特性:它是不可变的。内容无法改变。取而代之的是,新的修订被存储在现有的修订版本旁边。在两次修订之间没有变更的块会被重用,因为根据定义,它们具有相同的ID。这也意味着相同的文件不能在这样的存储系统中复制,转化为高效的存储。所以在这个新网络上,每一张独一无二的搞笑图片都只存在一次(尽管在整个群体中有多个副本)。
像Kademlia,Merkle链和MerkleDAG这样的协议,给我们提供了建模文件层次和修订时间线的工具,并在一个大型的P2P网络中分享它们。已经有一些协议使用这些技术来构建符合我们需求的分布式存储。看起来很有希望的是IPFS。
名称和共享问题
好了,通过以上这些技术,我们可以解决我在开始时提出的一些问题:我们在连接到网络的设备上得到分布式的、高度冗余的存储,这些设备可以记录文件的历史,并在需要的时候保留所有版本。这(几乎)解决了可用性、容量、持久性和内容验证问题。它还解决了带宽问题——因为都是使用点对点传输数据,因此不会出现服务器承受不了的情况。
我们还需要一个可扩展的计算资源,但这并不难:现在每个人的笔记本电脑和手机都比大多数应用程序所需要的功能更强大(包括相当复杂的机器学习计算),而且计算通常都是可伸缩的。因此,只要我们能让每一台设备都为用户做必要的工作,就不会出现大问题。
所以现在我在Slack上看到的搞笑图片可以来自坐在我旁边的同事,而不是来自Slack的服务器(在这个过程中没有跨越任何“海洋”)。不过,为了发布一张搞笑照片,我需要更新一个通道(channel)(也就是说,通道将不再是我发消息之前的样子了,它将会发生改变)。这个听起来相当简单的事情却是整个体系中最难的部分。
最困难的部分:实时更新
一个实体的概念会随着时间的推移而改变,这实际上只是人类专属的想法,让世界在我们的头脑中拥有秩序感和稳定。我们还可以把这样的实体看作是一个身份或名称,随着时间的推移,它会呈现出一系列不同的价值(这是静态的,不可改变的)。(RichHickey在他的演讲中解释得很好,戳此观看)。在电脑中模拟信息是一种更自然的方式,会产生更自然的结果。如果我告诉你一件事,我就再也不能改变我对你说的话了,也没办法让你忘却。例如,美国总统是谁,不会随时间而改变;只是会被同样性质(身份和名字)的其他事实(人)所取代。在Git的示例中,一个ref(分支或标记)可以在不同的时间点指向(持有一个ID和一个值)不同的提交,并提交一个提交来替换当前所持有的值。Slack通道也代表了一种身份,随着时间的推移,它的价值也在不断增长。
真正的问题是,我们并不是唯一一个拥有通道的人。很多人试图发布消息和改变通道,有时是同时进行,需要有人来决定结果应该是什么。
在中心化的系统中,当前几乎所有的web应用程序,都有一个中央实体来决定这个结果,并对事件进行序列化。然而,在一个分布式系统中,每个人都是平等的,因此需要有一种机制来确保网络上能够达成共识。
对于一个真正的分布式网络来说,要想解决这个问题,最困难的问题就是我们今天正在使用的所有应用。它不仅会影响并发更新,还会影响其他需要“实时”更新的更新——随着时间的推移,“真相的单一来源”正在发生变化。这个问题对于数据库来说尤其困难,它也会影响到其他关键服务,比如DNS。以分散的方式为特定的块ID或一系列ID注册一个人的名字意味着每个参与者都需要同意一个现有的名称有一个特定的含义,否则两个不同的用户就可以看到两个不同的文件在同一个名称下。基于内容的寻址解决了机器的问题(记住一个名字只能指向一个特定的匹配内容),而不是人类的问题。
在处理分布式的共识方面,有一些主要的策略。其中一个问题是,选择一个相对较小的“群体”经理,他们的机制是选出一个决定真相的“领导者”(如果你感兴趣的话,看看Paxos和Raft协议)。所有的变化都要经过这些经理。这实质上是一个集中式的系统,可以弥补网络中的中央决策实体或中断(“分区”)的丢失。
另一种方法是像比特币区块链这样的基于验证的系统,在这种系统中,通过让用户解决一个“难题”来编写一个更新(例如,在Merkle链中添加一个有效的区块)来达成共识。这个“难题”很难解决,但很容易就能查到,如果冲突仍然存在,还需要一些额外的规则来解决。其他几个分布式的区块链使用了基于验证的共识,同时减少了解题所需的能源需求。如果你感兴趣的话,你可以在BitFury这份白皮书中读到的相关的证据。
针对具体问题的另一种方法是围绕着CRDT——无冲突的复制数据类型,这在特定情况下根本不会遭受共识问题的困扰。最简单的例子是一个递增的计数器。如果所有更新只是“添加一条”,只要我们确保每次更新只应用一次,顺序就不重要,结果将是相同的。
这个问题似乎没有一个明确的答案,可能永远也不会只有一个答案,但有很多聪明的人正在努力解决这个问题,而且已经有很多有趣的解决方案可供选择。你只可以对其进行权衡。这种取舍通常体现在你“瞄准”的群体的规模上,并从你愿意让渡的共识中挑选出的一种特性——可用性或一致性(或者,从技术上讲,是网络划分,但在一个高度分布的系统中,这似乎很难避免,就像我们正在讨论的系统一样)。大多数应用程序似乎都支持可用性而不是即时的一致性——只要状态在合理的时间内是一致的即可。
公共文件网络中的隐私问题
需要解决的一个明显问题是隐私问题。即如何在不公开的情况下将内容存储在分布式的集群中呢?如果它能够隐藏东西,那么内容地址存储是一个不错的选择,因为为了找到某样东西,你需要知道它的内容的散列。所以本质上我们有三个层次的隐私:公共的、隐藏的和私密的。对于第三个问题的答案似乎是在密码学中-对存储的内容进行强加密并且要有“外在”的共享密钥(比如用纸分享、NFC设备传输或者扫描二维码等)。
依赖于加密技术一开始可能听起来很冒险(毕竟,黑客总是会发现漏洞),但实际上并没有比我们今天做的更糟糕。事实上,这在实践中有可能会更好。企业和政府通常以无法与公众分享的方式存储敏感数据(包括数据所涉及的个人)。相反,只有拥有这些数据的组织所雇用的数量不多的员工才能够访问,而且至少在密码方面受到保护。通常情况下,如果你能访问存储这些数据的系统,你就可以拥有所有这些数据。
但是,如果我们转而以一种本质上是公开的方式来存储私人数据,那么我们就不得不保护它(使用强大的加密技术),这样对任何获得访问权限的人来说都是不好的。这个想法与安全相关软件的开发者开源代码的初衷是一样的,这样任何人都可以查看并发现问题。知道安全系统是如何工作的,不应该帮助你打破它。
这种对访问的控制一个有趣特性是,一旦你授予某人访问某些数据的权限,他们就会永远对数据进行修改。当然,你可以随时更改加密密钥。这也并不比我们今天的情况更糟,尽管它可能并不明显:只要获得一些数据的访问权限,任何人都可以复制它。
这一领域的有趣挑战是,在一群需要随时间推移而改变的人群中建立一个能够验证身份并共享私有数据的良好系统。例如,在一个私有的Git存储库中有一组协作者。这绝对可以通过一些私钥密码和旋转密钥的组合实现,但让用户获得流畅的体验可能是一项挑战。
从云到雾
尽管要解决一些难题,我们从云计算中迁移出去,将会是一个非常令人兴奋的未来。首先,在技术方面,我们应该从点对点网络中获得相当多的改进。内容可寻址存储可以在不受信任的授权情况下,提供对内容本身的加密验证,并进行永久的托管(只要有人对它感兴趣),我们应该能看到其速度的显著提升,即使是在远离数据中心的发展中世界的边缘(甚至是在另一个星球上)。
在某个时候,甚至连数据中心都可能成为历史。消费设备变得如此强大,无处不在,计算能力和存储空间几乎随处可见。
对于运行web应用程序的企业来说,这一变化将会节省巨大的成本。企业也将能够减少对宕机风险的关注,更多地关注增加客户价值,让所有人受益。我们仍然需要云托管服务器,但它们只是众多同类服务器中的一种。我们还可以看到更多样化的应用程序,在这些应用程序中,并非所有的应用程序都是一样的——在同一个应用程序中,有面向消费者的和后台的,而差别只是访问权限不同而已。
对企业和客户来说,另一个巨大的好处是对客户数据的处理。当不再需要集中存储大量的客户信息时,丢失这些数据的风险就会降低。软件工程界的领导者们(如Erlang的创始人JoeArmstrong,他的谈话很值得关注)长期以来一直认为,在互联网上,客户向企业的程序发送数据的设计是一种退化,企业应该向客户发送程序,以让他们能够执行私人的数据,而这些数据不会被直接共享。这样的模式似乎更安全,并且也不会以任何方式阻止企业收集他们所需的有用的用户指标。
而且,当前没有什么方式能阻止混合的服务模式,这些服务不透明,并保留了私人数据。
这种类型的应用程序架构似乎是一种更自然的方式,来提供大规模计算和软件服务,而且也更接近于开放信息交换的想法,任何人都可以方便地向他人转发内容,并控制可以发布和访问的内容,而不是由拥有服务器的私有实体来控制。
对我来说,这是非常令人兴奋的。这就是为什么我想要组建一个小团队,在几周内,用上面提到的一些技术来构建一个简单的移动应用,来证明概念,并展示可以通过点对点网络来做些什么。目前我所拥有的唯一一个足够小的想法,能够相对快速、足够有趣,足以证明这种方法的特性是一个点对点的、真正无服务器的克隆版Twitter,但这并不特别令人兴奋。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
1月13日,天津市发布《天津市促进先进制造业和现代服务业深度融合发展的实施方案》(津发改服务〔2025〕1号),其中指出,鼓励企业加快云计算、大数据、物联网、区块链等新一代信息技术与制造业融合,加强基础软件和工业软件技术攻关,在智能电网、通信、智能交通等行业加快形成规模化应用。原文如下:
12月18日,中国移动(宁夏中卫)数据中心110千伏变电站进入试运行阶段,标志着宁夏首座云计算企业自建110千伏变电站建成投运。据介绍,中国移动(宁夏中卫)数据中心致力于构建低碳、环保的数字基础设施,引领绿色计算潮流,在现有供电基础上规划建设了输变电项目工程。这次配套工程所敷设电缆是中卫地
近日,中国基本建设优化研究会联合远光软件等企业共同起草的三项信创相关团体标准正式发布,包括《信息技术应用创新经营管理系统数据管理技术规范》、《信息技术应用创新数据安全通用技术要求》以及《信息技术应用创新云计算基础设施即服务(IaaS)通用技术要求》。这三项标准的发布,彰显了远光软件在
4月18日,浙江台州与法国电力集团共同打造的智能微电网示范工程开工。这不仅是台州市首个“光储充放+园区能源管理系统”低碳园区项目,更是首个“车网互动”的园区示范场景。同时,该项目也是法电集团在国内的第一个光储充一体化项目。据悉,园区总建筑面积34万平方米,项目主要由光伏系统、储能系统、
3月11日,由国网信息通信产业集团有限公司所属天津市普迅电力信息技术有限公司支撑建设的碳服务管理应用——“高新碳云”平台在安徽合肥高新技术产业开发区发布。合肥高新技术产业开发区是国家发展改革委发布的全国首批10个碳达峰试点园区之一。为更好助力园区绿色低碳转型,天津普迅公司联合合肥供电
2月26日,国网山东聊城供电公司联合国家税务总局聊城市税务局发布了山东省聊城市2023年“税电指数”。2023年,聊城市“税电指数”为105.6,连续6个月实现正增长;全市18个主要行业门类中,高于“荣枯线100”的行业有15个;分区域看,5个县(市、区)“税电指数”高于全市平均值……数据反映出聊城市经
北极星电力软件网获悉,近日,福建省发改委等7部门关于印发外贸出口优势产业提升行动方案(2024—2025年),其中指出,进一步优化外贸结构,推动电动载人汽车、锂离子蓄电池、太阳能电池等“新三样”产品和纺织鞋服、钢铁有色、电子信息、特色农产品等传统优势产品扩大出口。原文如下:福建省发展和改
#tabs1.swiper-container{height:500px;overflow:hidden;}#tabs2.swiper-container{height:450px;overflow:hidden;}#tabs3.swiper-slide{float:left!important;}.lmNav{width:100%;height:100px;box-shadow:05px15px0rgba(10,76,181,0.20);text-align:center;border-bottom:1pxsolid#D6DFEA;}.lmNavu
据美国能源信息署发布的报告,过去几年与美国加密货币采矿业务相关的电力需求增长非常迅速。初步估计表明,加密货币挖矿的年用电量可能占美国用电量的0.6%至2.3%。(文章来源微信公众号:国际能源小数据ID:gh_fcc26c741888)这种额外的用电量引起了政策制定者和电网规划者的注意,担心其对电力成本、
北极星电力软件网获悉,2023年,成都超算中心用户数量同比增长50%,达到1280家;服务范围覆盖全国45座城市,综合资源利用率大幅提升。据介绍,成都正构建超算智算云计算边缘计算一体的算力供给体系。在供给端,不断推动算力扩容提质,把算力基础设施作为城市重要的数字底座;在需求端,深入推进算力赋
北极星电力软件网获悉,1月30日,上海市人民政府印发支持浦东新区等五个重点区域打造生产性互联网服务平台集聚区若干措施。其中提到,到2025年,引领区服务平台交易规模突破7000亿元,引育50家标杆平台企业,建设形成“千亿平台、千万品类、千企上云、百项服务”,大宗商品千亿级交易服务平台能级提升
3月6日,北京市科学技术委员会对《北京市区块链创新应用发展行动计划(2025-2027年)(征求意见稿)》公开征集意见。其中提到,到2027年,自主可控区块链技术对国家数字基础设施底座支撑能力进一步提升,在区块链专用芯片、隐私保护、跨链互通、分布式组网等下一代区块链核心技术方面形成PB级节点可信
近日,由北京电力交易中心联合国网数字科技控股有限公司(国网雄安金融科技集团有限公司)在电气电子工程师学会标准化协会(IEEE-SA)提交的国际标准提案《基于区块链的小时级绿电交易技术规范》获批立项。作为我国主导的首个小时级绿电交易国际标准,该标准提出了基于区块链的小时级绿电交易业务流程
北极星售电网获悉,2025年1月10日,巴西首笔基于区块链的户用光伏国际绿证达成交易,此次交易的绿色电力源自巴西巴拉那州的户用光伏项目,相关发电数据藉助区块链技术实现了数据可信记录和流转。据悉,该笔户用光伏国际绿证是基于英臻科技在巴西巴拉那州服务的户用光伏电站项目开发的,由REDEX进行国际
截至12月10日,国网内蒙古东部电力有限公司打造的基于区块链技术的电力零售交易平台累计签约电量超过350亿千瓦时,为超过5000家工商业电力用户提供了便捷、高效、规范的电力交易服务,为推进海量工商业电力用户持续入市交易提供支撑。国网蒙东电力聚焦电力市场业务关键环节,以电力用户参与面广、业务
工业互联网是新一代信息通信技术与工业经济深度融合的新型基础设施、应用模式和工业生态,为工业乃至产业数字化、网络化、智能化发展提供了实现途径。标识解析体系则是工业互联网的“神经系统”,是我省发展新质工业生产力的重要纽带。为贯彻落实工业和信息化部等十三部门联合印发的《工业互联网标识解
近日,云南电网公司昆明电力交易中心牵头完成的“双碳背景下‘区块链+电力交易’平台关键技术研究及应用”项目成果顺利通过中国电力企业联合会组织的鉴定,认为该项目成果达到“国际先进水平”。据了解,该项目是区块链技术融入和服务电力交易领域的一次重要突破。在技术平台创新方面,创新设计并构建
10月24-25日,由中国物流与采购联合会主办,上海市数据局和上海市静安区人民政府支持的“数通链谷·通全球链世界”2024产业区块链大会在上海成功召开。大会发布了“2024产业区块链企业50强”,远光软件连续第四年荣耀登榜。作为国内区块链应用的领航者,远光软件始终致力于区块链技术和实体经济的深度
近日,中国软件行业协会公布2024年度优秀软件产品活动(第3季度)通过名单,远光软件自主研发的“基于区块链技术的电子签约平台”(又名“存道签”)凭借其卓越性能,荣获“2024年度优秀软件产品”。在数字化浪潮的席卷下,企业正加速推进智能化与绿色化转型,对高效、安全、环保的无纸化电子签约服务
10月12日获悉,在电气与电子工程师协会标准委员会(IEEE-SA)第25次标准讨论会议上,由国网山西省电力公司提交的《基于区块链的电力交易智能合约技术规范标准》经标准委员会委员评审后成功立项。这是该公司牵头立项的首个IEEE国际标准。据介绍,区块链技术具有去中心化、不可篡改等特点,与能源资源分
7月份,国家发展改革委、国家能源局印发了《电力中长期交易基本规则——绿色电力交易专章》。该文件关于绿色电力交易的定义部分提到,电力交易平台依托区块链技术可靠记录绿色电力交易全业务环节信息,为交易主体提供绿色电力交易申报、交易结果查看、结算结果查看及确认等服务。区块链技术通过复杂的
趋势一:数智技术生态协同、业务精简敏捷迭代、推进数字化业务网络构建。能源数字化转型在业务数据化、流程数字化、规则数字化等方面完成数字化基础建设。数智技术能够在一定程度上解决传统决策中信息不对称、决策效率低下等难题,并形成了数据采集、数据质量管理、人工智能分析、优化决策相配合的数字
近日,浙江工业大学能源经济与环境政策研究中心发布《全球能源需求安全评估报告:聚焦OPEC+》(以下简称《报告》)指出,随着清洁能源技术的迅速普及应用,发达国家的石油需求在2005年达到峰值,全球石油需求预计在2030年达到峰值。因此,构建能源需求安全评估体系,分析全球能源转型对能源出口国的潜在
财富杂志(Fortune)网站发表署名RaghuMadabushi的文章,AIenergydemandmeansinnovationmustcrackleinanunlikelyplace:Electricutilities(人工智能能源需求意味着创新必须在想象之外的地方爆发:电力公司)。(来源:国际能源小数据作者:ESmallData)电力公用事业长期以来一直对拥抱创新持保守态度。
随着电池储能系统(BESS)在稳定电网方面发挥越来越重要的作用,这些项目所需的持续时间也在发生变化。系统持续时间是电池在指定水平上释放能量的时间——本质上就是它能为电网供电的时间。这一措施对于解决太阳能和风能等能源发电的变化和向下爬坡时段尤为重要。BESS项目持续时间由为项目选择的电池决定
随着“双碳”概念的提出以及新能源技术的持续发展,我国电网正在经历一场百年未有之大变局,在全面升级优化的同时也面临诸多的困难。虚拟电厂技术作为破解清洁能源消纳和绿色能源转型的解决方案,对我国能源战略转型和“双碳”目标的实现具有重大意义。(来源:微信公众号“IESPlaza综合能源服务网”作
习近平总书记2023年7月在全国生态环境保护大会上强调,总结新时代10年的实践经验,分析当前面临的新情况新问题,继续推进生态文明建设,必须以新时代中国特色社会主义生态文明思想为指导,正确处理几个重大关系,即高质量发展和高水平保护的关系、重点攻坚和协同治理的关系、自然恢复和人工修复的关系
6月27日,省发改委、省能源局、省能源规划研究中心联合编著的《湖南省能源发展报告2022》发布。《报告》显示,2022年,湖南能源供应水平稳步增长,能源低碳转型成效明显。受疫情影响,2022年湖南省能源需求增速有所放缓,能源消费总量达1.7亿吨标准煤,同比增长0.7%,增速较上年下降3.2个百分点。能源
中共二十大报告提出,要积极稳妥推进碳达峰碳中和,并从完善能源消耗总量和强度调控、深入推进能源革命、加快规划建设新型能源体系等方面作出战略部署,为我国实现碳达峰碳中和指明了方向。3月7日,在全国政协十四届一次会议第二次全体会议上,致公党中央常务副主席张恩迪称,致公党中央经过深入调研、
北极星售电网获悉,9月5日广东省人民政府发布广东省进一步促进工业经济平稳增长若干措施的通知。通知指出,充分发挥煤电油气运保障协调机制作用,加强能源资源统筹调度,做好能源需求预测分析,做实做细工业企业能源电力保供工作,切实保障产业链供应链重点企业电力供应。对受疫情影响未能及时缴费的制
水力发电装机容量达到8947.0万千瓦、规上企业新能源发电合计197.7亿千瓦时……四川省第十一次党代会以来,四川凝心聚力、砥砺奋进,积极构建清洁低碳、安全高效的现代能源体系,能源生产水平大幅跃升、消费结构持续优化、利用效率稳步提高,为推动经济社会高质量发展提供了坚实能源保障,为谱写美丽四
北极星售电网获悉,国家能源局日前发布关于印发《2022年能源工作指导意见》的通知,增强供应保障能力。全国能源生产总量达到44.1亿吨标准煤左右,原油产量2亿吨左右,天然气产量2140亿立方米左右。保障电力充足供应,电力装机达到26亿千瓦左右,发电量达到9.07万亿千瓦时左右,新增顶峰发电能力8000万
2021年,面对复杂严峻的国内外能源供需形势,按照党中央、国务院决策部署,国家发展改革委会同有关方面认真贯彻落实“四个革命、一个合作”能源安全新战略,持续深化煤电油气产供储销体系建设,不断提升能源供应能力和水平,切实保障生产生活用能需求,助力经济社会平稳运行,推动能源高质量发展迈出新
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!