登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
如果你听说过BitTorrent(比特流),那么下面这些内容听起来应该会很熟悉。在BitTorrent上,网络用户不需要任何中央机构授权就可以将大数据文件分成更小的块或片段(每个块都有一个唯一的ID)。要下载一个文件,你只需要一个“神奇”数字,也就是一个哈希(hash),即内容的指纹就行了。然后,你的BitTorrent客户端将会按照“内容指纹”找到那些拥有文件片段的用户,并从他们那里把一个个文件片段下载下来,直到你拥有所有的片段。
一个有趣的点是如何去匹配用户。BitTorrent使用了一种名为Kademlia的协议。在Kademlia,网络上的每个对等点都有一个唯一的ID号,其长度与唯一的块ID相同。它会将一个带有特定ID的块存储在一个节点上,该节点的ID与该块的ID“最接近”。块和网络对等点的随机ID,在整个网络中存储的分布应该是相当一致的。不过,块ID并不需要随机选择,而是使用一种加密散列——这是块本身内容的唯一指纹,这是有好处的。保证这些块是可寻址的。这也使得验证块的内容更加容易(通过重新计算和比较指纹),并能够保证用户不可能下载原始的数据之外的其他数据。
另一个有趣的特性是,通过将一个块的ID嵌入到另一个块的内容中,你可以将二者以一种不会被篡改的方式连接在一起。如果链接块的内容发生变化,它的ID将会改变,链接也会被破坏。如果修改了嵌入式链接,那么包含块的ID也会随之改变。
这种将一个区块的ID嵌入到另一个区块的机制,使得创建这样的区块链成为可能(比如为比特币和其他加密货币驱动的区块链),甚至是更复杂的结构,通常被称为有向无环图(DirectedAcyclicGraphs),简称DAG。(在RalphMerkle发明了这种链接之后,通常被称为“Merkle链接”。所以,如果你听到有人在谈论MerkelDAGs时,你大概能知道他们在说什么。)MerkleDAG的一个常见例子就是Git存储库。Git将提交历史和所有目录和文件都保存在一个巨大的MerkleDAG中。
这就导致了基于内容寻址的分布式存储的另一个有趣特性:它是不可变的。内容无法改变。取而代之的是,新的修订被存储在现有的修订版本旁边。在两次修订之间没有变更的块会被重用,因为根据定义,它们具有相同的ID。这也意味着相同的文件不能在这样的存储系统中复制,转化为高效的存储。所以在这个新网络上,每一张独一无二的搞笑图片都只存在一次(尽管在整个群体中有多个副本)。
像Kademlia,Merkle链和MerkleDAG这样的协议,给我们提供了建模文件层次和修订时间线的工具,并在一个大型的P2P网络中分享它们。已经有一些协议使用这些技术来构建符合我们需求的分布式存储。看起来很有希望的是IPFS。
名称和共享问题
好了,通过以上这些技术,我们可以解决我在开始时提出的一些问题:我们在连接到网络的设备上得到分布式的、高度冗余的存储,这些设备可以记录文件的历史,并在需要的时候保留所有版本。这(几乎)解决了可用性、容量、持久性和内容验证问题。它还解决了带宽问题——因为都是使用点对点传输数据,因此不会出现服务器承受不了的情况。
我们还需要一个可扩展的计算资源,但这并不难:现在每个人的笔记本电脑和手机都比大多数应用程序所需要的功能更强大(包括相当复杂的机器学习计算),而且计算通常都是可伸缩的。因此,只要我们能让每一台设备都为用户做必要的工作,就不会出现大问题。
所以现在我在Slack上看到的搞笑图片可以来自坐在我旁边的同事,而不是来自Slack的服务器(在这个过程中没有跨越任何“海洋”)。不过,为了发布一张搞笑照片,我需要更新一个通道(channel)(也就是说,通道将不再是我发消息之前的样子了,它将会发生改变)。这个听起来相当简单的事情却是整个体系中最难的部分。
最困难的部分:实时更新
一个实体的概念会随着时间的推移而改变,这实际上只是人类专属的想法,让世界在我们的头脑中拥有秩序感和稳定。我们还可以把这样的实体看作是一个身份或名称,随着时间的推移,它会呈现出一系列不同的价值(这是静态的,不可改变的)。(RichHickey在他的演讲中解释得很好,戳此观看)。在电脑中模拟信息是一种更自然的方式,会产生更自然的结果。如果我告诉你一件事,我就再也不能改变我对你说的话了,也没办法让你忘却。例如,美国总统是谁,不会随时间而改变;只是会被同样性质(身份和名字)的其他事实(人)所取代。在Git的示例中,一个ref(分支或标记)可以在不同的时间点指向(持有一个ID和一个值)不同的提交,并提交一个提交来替换当前所持有的值。Slack通道也代表了一种身份,随着时间的推移,它的价值也在不断增长。
真正的问题是,我们并不是唯一一个拥有通道的人。很多人试图发布消息和改变通道,有时是同时进行,需要有人来决定结果应该是什么。
在中心化的系统中,当前几乎所有的web应用程序,都有一个中央实体来决定这个结果,并对事件进行序列化。然而,在一个分布式系统中,每个人都是平等的,因此需要有一种机制来确保网络上能够达成共识。
对于一个真正的分布式网络来说,要想解决这个问题,最困难的问题就是我们今天正在使用的所有应用。它不仅会影响并发更新,还会影响其他需要“实时”更新的更新——随着时间的推移,“真相的单一来源”正在发生变化。这个问题对于数据库来说尤其困难,它也会影响到其他关键服务,比如DNS。以分散的方式为特定的块ID或一系列ID注册一个人的名字意味着每个参与者都需要同意一个现有的名称有一个特定的含义,否则两个不同的用户就可以看到两个不同的文件在同一个名称下。基于内容的寻址解决了机器的问题(记住一个名字只能指向一个特定的匹配内容),而不是人类的问题。
在处理分布式的共识方面,有一些主要的策略。其中一个问题是,选择一个相对较小的“群体”经理,他们的机制是选出一个决定真相的“领导者”(如果你感兴趣的话,看看Paxos和Raft协议)。所有的变化都要经过这些经理。这实质上是一个集中式的系统,可以弥补网络中的中央决策实体或中断(“分区”)的丢失。
另一种方法是像比特币区块链这样的基于验证的系统,在这种系统中,通过让用户解决一个“难题”来编写一个更新(例如,在Merkle链中添加一个有效的区块)来达成共识。这个“难题”很难解决,但很容易就能查到,如果冲突仍然存在,还需要一些额外的规则来解决。其他几个分布式的区块链使用了基于验证的共识,同时减少了解题所需的能源需求。如果你感兴趣的话,你可以在BitFury这份白皮书中读到的相关的证据。
针对具体问题的另一种方法是围绕着CRDT——无冲突的复制数据类型,这在特定情况下根本不会遭受共识问题的困扰。最简单的例子是一个递增的计数器。如果所有更新只是“添加一条”,只要我们确保每次更新只应用一次,顺序就不重要,结果将是相同的。
这个问题似乎没有一个明确的答案,可能永远也不会只有一个答案,但有很多聪明的人正在努力解决这个问题,而且已经有很多有趣的解决方案可供选择。你只可以对其进行权衡。这种取舍通常体现在你“瞄准”的群体的规模上,并从你愿意让渡的共识中挑选出的一种特性——可用性或一致性(或者,从技术上讲,是网络划分,但在一个高度分布的系统中,这似乎很难避免,就像我们正在讨论的系统一样)。大多数应用程序似乎都支持可用性而不是即时的一致性——只要状态在合理的时间内是一致的即可。
公共文件网络中的隐私问题
需要解决的一个明显问题是隐私问题。即如何在不公开的情况下将内容存储在分布式的集群中呢?如果它能够隐藏东西,那么内容地址存储是一个不错的选择,因为为了找到某样东西,你需要知道它的内容的散列。所以本质上我们有三个层次的隐私:公共的、隐藏的和私密的。对于第三个问题的答案似乎是在密码学中-对存储的内容进行强加密并且要有“外在”的共享密钥(比如用纸分享、NFC设备传输或者扫描二维码等)。
依赖于加密技术一开始可能听起来很冒险(毕竟,黑客总是会发现漏洞),但实际上并没有比我们今天做的更糟糕。事实上,这在实践中有可能会更好。企业和政府通常以无法与公众分享的方式存储敏感数据(包括数据所涉及的个人)。相反,只有拥有这些数据的组织所雇用的数量不多的员工才能够访问,而且至少在密码方面受到保护。通常情况下,如果你能访问存储这些数据的系统,你就可以拥有所有这些数据。
但是,如果我们转而以一种本质上是公开的方式来存储私人数据,那么我们就不得不保护它(使用强大的加密技术),这样对任何获得访问权限的人来说都是不好的。这个想法与安全相关软件的开发者开源代码的初衷是一样的,这样任何人都可以查看并发现问题。知道安全系统是如何工作的,不应该帮助你打破它。
这种对访问的控制一个有趣特性是,一旦你授予某人访问某些数据的权限,他们就会永远对数据进行修改。当然,你可以随时更改加密密钥。这也并不比我们今天的情况更糟,尽管它可能并不明显:只要获得一些数据的访问权限,任何人都可以复制它。
这一领域的有趣挑战是,在一群需要随时间推移而改变的人群中建立一个能够验证身份并共享私有数据的良好系统。例如,在一个私有的Git存储库中有一组协作者。这绝对可以通过一些私钥密码和旋转密钥的组合实现,但让用户获得流畅的体验可能是一项挑战。
从云到雾
尽管要解决一些难题,我们从云计算中迁移出去,将会是一个非常令人兴奋的未来。首先,在技术方面,我们应该从点对点网络中获得相当多的改进。内容可寻址存储可以在不受信任的授权情况下,提供对内容本身的加密验证,并进行永久的托管(只要有人对它感兴趣),我们应该能看到其速度的显著提升,即使是在远离数据中心的发展中世界的边缘(甚至是在另一个星球上)。
在某个时候,甚至连数据中心都可能成为历史。消费设备变得如此强大,无处不在,计算能力和存储空间几乎随处可见。
对于运行web应用程序的企业来说,这一变化将会节省巨大的成本。企业也将能够减少对宕机风险的关注,更多地关注增加客户价值,让所有人受益。我们仍然需要云托管服务器,但它们只是众多同类服务器中的一种。我们还可以看到更多样化的应用程序,在这些应用程序中,并非所有的应用程序都是一样的——在同一个应用程序中,有面向消费者的和后台的,而差别只是访问权限不同而已。
对企业和客户来说,另一个巨大的好处是对客户数据的处理。当不再需要集中存储大量的客户信息时,丢失这些数据的风险就会降低。软件工程界的领导者们(如Erlang的创始人JoeArmstrong,他的谈话很值得关注)长期以来一直认为,在互联网上,客户向企业的程序发送数据的设计是一种退化,企业应该向客户发送程序,以让他们能够执行私人的数据,而这些数据不会被直接共享。这样的模式似乎更安全,并且也不会以任何方式阻止企业收集他们所需的有用的用户指标。
而且,当前没有什么方式能阻止混合的服务模式,这些服务不透明,并保留了私人数据。
这种类型的应用程序架构似乎是一种更自然的方式,来提供大规模计算和软件服务,而且也更接近于开放信息交换的想法,任何人都可以方便地向他人转发内容,并控制可以发布和访问的内容,而不是由拥有服务器的私有实体来控制。
对我来说,这是非常令人兴奋的。这就是为什么我想要组建一个小团队,在几周内,用上面提到的一些技术来构建一个简单的移动应用,来证明概念,并展示可以通过点对点网络来做些什么。目前我所拥有的唯一一个足够小的想法,能够相对快速、足够有趣,足以证明这种方法的特性是一个点对点的、真正无服务器的克隆版Twitter,但这并不特别令人兴奋。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
6月3日,国家发展改革委国家能源局发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定提升措施,促进配电网与分布式新能源协调发展。
北极星售电网获悉,6月3日,国家发展改革委发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见(发改能源规〔2025〕624号)。文件明确,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定
5月29日,浙江省制造业高质量发展(数字经济发展)领导小组办公室关于印发《关于促进智算云创新发展的实施意见(2025-2027年)》的通知(浙制高办〔2025〕38号)。其中指出,聚焦制造、医疗、文化、交通、金融、能源、教育等重点行业,深入实施人工智能+行动。鼓励使用智算云通过“公共云+API”的模式
近日,云南省发展改革委依托省级重大项目清单,建立2025年云南省重点民间投资项目库,共纳入382个项目,总投资3456.62亿元,覆盖能源工业、能源以外工业、农业、文化旅游、数字经济、商贸物流、交通、社会事业、生态环保等行业领域。其中包含新安硅材料(瑞丽)有限公司1-4#炉余热综合利用发电项目、临
近日,山东省枣庄市财金控股集团建设的全市首家市级虚拟电厂项目顺利通过山东省电力交易中心公示,这标志着枣庄财金虚拟电厂具备了全面接入国家电网及经营主体的电力调节能力。虚拟电厂项目总投资1.5亿元,目前,虚拟电厂已接入工商业用户、分布式光伏电站、储能电站、充电桩等多元化主体,依托物联网
在电力现货市场全面铺开、需求侧管理政策密集出台的背景下,虚拟电厂正经历从政府邀约向市场化运营的深刻转型。近年来,各地积极开展虚拟电厂的探索实践,推动其应用场景实现裂变式拓展,在促进能源高效利用、提升电力系统灵活性等方面展现出巨大潜力。(来源:北极星售电网作者:北极星)2025年5月23
5月7日,山东分公司济宁电厂与航投云计算科技(西安)有限公司签署新能源项目合作协议。根据协议,双方秉持平等合作、互利共赢原则,充分发挥双方在资源、资金、技术等各方面优势,以“算力+新能源”的方式合作开发新能源发电项目,携手实现绿色低碳高质量发展。
日前,福州发布关于征求《福州市石化化工行业碳达峰实施方案(送审稿)》《福州市钢铁行业碳达峰实施方案(送审稿)》《福州市建材行业碳达峰实施方案(送审稿)》意见的通知。详情如下:关于征求《福州市石化化工行业碳达峰实施方案(送审稿)》《福州市钢铁行业碳达峰实施方案(送审稿)》《福州市建材行
5月16日,宁波杭湾500千伏输变电工程正式投运,至此,宁波超高压变电站数量达到10座,成为继杭州之外,省内第二个超高压变电站达到10座的城市。关于杭湾输变电工程宁波杭湾500千伏输变电工程是国家能源局“十四五”电力发展规划的国家级重点能源类项目,也是宁波首座半户内设计的超高压变电站,标志着
当地时间5月15日,由中国能建葛洲坝三公司承建的境外在建最高面板堆石坝巴基斯坦Mohmnad水电站启动大坝填筑,标志着这项巴基斯坦的旗舰工程进入大坝主体填筑阶段。巴基斯坦水电发展署(WAPDA)相关负责人在启动仪式上表示,Mohmand水电站不仅是巴基斯坦的重要基础设施,更是人民生活质量提升的希望工程
在韶关生产指挥中心的弧形屏幕前,依托“大瓦特”智能问数功能,一组实时跳动的电能量数据流吸引了所有参会者的目光#x2014;#x2014;近日,南方电网广东电网公司举办“云上计量数智共生”为主题的计量自动化系统3.0(以下简称“计量系统3.0”)创新应用会议,展示计量系统3.0在深化应用阶段取得的丰硕成
6月5日,宁夏银川市人民政府办公室关于印发《银川高新区高质量发展实施方案(2025—2027年)》的通知。文件指出,积极招引动力电池、风机叶片、光伏组件等“新三样”及算力服务器等拆解回收利用项目,鼓励发展“互联网+回收”模式,强化全链条数字化监管,推进循环经济产业与合规化、标准化服务体系深
近年来,国网江苏省电力有限公司加大科技创新力度,应用量子通信和区块链技术,在电力交易和能源数据安全方面等前沿技术领域积极探索,参与无人机、卫星遥感巡检,提升电力通信网络的安全性和可靠性,为电力事业铺就了一条光明坦途。过去,依靠人力的“铁脚板”巡检方式,效率低下且受限颇多。运维人员
近日,龙源电力碳资产公司自主研发的“碳排放数据区块链上链存证系统”顺利通过中国电力企业联合会组织的科技成果鉴定,整体达到国际先进水平,其中火电碳排放管理的数据存证与流转体系达到国际领先水平。图为碳排放数据区块链上链存证系统该系统以国能链为区块链基座,通过构建涵盖龙源碳资产公司、集
5月22日,由北极星电力网主办的“2025第三届虚拟电厂运营与未来发展研讨会”在安徽合肥盛大召开。本次大会以“破界聚能,智领未来”为主题,汇聚了行业主管部门、权威智库、领军企业及优秀实践代表,共同探讨虚拟电厂的发展趋势、技术创新及落地应用。西安广林汇智能源科技有限公司(以下简称“广林”
5月21日,全国首批存量常规水电绿证划转数据成功交互至国家绿证核发交易系统,云南省内2家用户顺利获得2家水电站2024年绿证合计82.6万张,折合存量常规水电电量8.26亿千瓦时。据悉,2024年12月,《云南省绿色电力交易实施细则》(以下简称《细则》)正式发布,首次明确将存量常规水电绿证实施无偿划转,
能源革命的“数字指挥官”、能源领域的“滴滴平台”、匹配供需的关键载体……在“双碳”目标引领下,虚拟电厂成为构建新型电力系统的重要一环,业界亦对虚拟电厂寄予厚望。“集而不群、聚而不合现象普遍存在”、“虚拟电厂‘由虚到实’还有诸多挑战”“虚拟电厂商业模式单一,参与市场机制不健全”……
全球新能源产业进入高速增长期,但政策不确定性、技术迭代加速、国际竞争加剧等因素导致法律风险频发。近年来,全球新能源产业呈现爆发式增长态势。然而,行业高速发展背后暗藏多重法律风险。(作者:莫泰京北京市盈科律师事务所律师)新能源行业法律风险白皮书——合规挑战与应对策略目录一、行业趋势
二氧化碳连续监测技术,是火电厂烟气二氧化碳排放检测的试点技术,但目前在精确度上仍存在一些问题,需要协同攻关、重点突破。(来源:能源新媒文/魏子杰作者系龙源(北京)碳资产管理技术有限公司党委书记、董事长)2020年6月,生态环境部公布《生态环境监测规划纲要(2020—2035年)》,提出遵循“核
5月28日,河南省人民政府办公厅关于印发河南省临港产业发展规划(2025—2035年)的通知(豫政办〔2025〕26号)。其中提到,重点发展电力装备、农业机械、工程机械、医疗器械、船舶制造等产业,提高自主设计、制造和系统集成能力,打造先进装备产业集群。扩大特高压输电成套装备、换流阀等产业优势,做
在全球能源变革的十字路口,中国正以“三场替代战役”与“四大突破”为战略支点,开启一场颠覆传统能源格局的深刻变革。这场变革不仅关乎2030碳达峰、2060碳中和的承诺兑现,更将重塑全球新能源产业链的竞争规则。当欧美国家还在能源转型的十字路口徘徊时,中国已用特高压电网贯通山河,以光伏矩阵点亮
5月21日,随着全国首批存量常规水电绿证划转数据成功交互至国家绿证核发交易系统,云南省内2家用户顺利获得2家水电站2024年绿证合计82.6万个,折合存量常规水电电量8.26亿千瓦时。据悉,2023年以来,国家相继发布多项政策,要求各地大力推动可再生能源绿色电力证书全覆盖工作,对2023年1月1日(含)以
2025年1月20日,特朗普正式就任美国第47任总统。上任后特朗普政府大幅调整拜登政府的气候及能源政策,不仅对美国自身能源、环境、经济、社会等诸多层面造成冲击,而且在国际范围产生广泛影响。本文系统梳理本届特朗普政府自上任以来的能源政策动向及全球影响,分析我国应如何有效对冲特朗普政府能源政
近日,埃克森美孚发布《2025年推进气候解决方案进展报告》(下称《报告》),提出计划在2025-2030年期间,最高投资300亿美元用于低碳减排项目。《报告》显示,埃克森美孚锚定2030年减排目标,构建强韧业务体系应对多元发展情景,同时推动政策方案,助力高效减碳,力求破解“满足能源需求”与“减少碳排
近日,我国最大采油厂——中国海油有限天津分公司辽东作业公司单日天然气外输量突破269万立方米,较2024年同期增长10%,创历史新高。该作业公司今年前4个月累计外输天然气超3亿立方米,较2024年同期增长2%。辽东作业公司所辖辽东湾油田群由19个油气田构成,是渤海油田增储上产的主战场之一。今年以来,
景春梅金爱伟谢笑梅(中国国际经济交流中心课题组)2024年12月召开的中央经济工作会议指出,要“综合整治‘内卷式’”竞争。近两年来,我国光伏制造业阶段性供需失衡,“量增价减”问题加剧,出现“内卷式”竞争。光伏制造业是我国培育的重要新质生产力,长期看仍有较大发展空间。在推动光伏制造业重回
一系列技术突破表明,人类对于核聚变的探索已从理论推演走到了工程试验阶段,核聚变永远50年的“魔咒”可能正在慢慢被解除。(来源:能源新媒文/本刊记者范珊珊)在刘慈欣的小说《流浪地球》里,重核聚变行星发动机推动地球开启星际流浪之旅;在《三体》中他描述了“无工质飞船”——核聚变飞船带领人类
随着数字经济的加速发展以及生成式人工智能在商业和日常生活中的深入嵌入,支持这些技术的物理基础设施正在经历一场变革性的爆炸式增长。如今,数据中心约占美国总电力消耗的4%。然而,根据麦肯锡的预测,预计到2030年,这一比例将上升到12%,这是由于计算能力、存储需求以及人工智能模型训练的前所未
导语长期以来,园区企业获取可溯源、低成本绿电面临核心制度瓶颈:新能源项目通过专用线路直供用户缺乏政策依据。5月30日,国家发展改革委、国家能源局发布《关于有序推动绿电直连发展有关事项的通知》,首次从国家层面明确“绿电直连”这一新能源供用电新模式的规则框架。近年来在全国多点开花的零碳
“十五五”是我国经济迈向高质量发展的关键阶段,也是全球能源格局深刻调整的重要时期。在当前和今后一段时间,我国能源电力将持续处于清洁低碳、安全高效转型的大趋势大环境中,如何更加有效地发挥电力在国民经济中的基础和先导作用,促进国家重大发展战略和目标的实现,更好地满足人民群众日益增长的
文/王海滨作者系中化能源股份有限公司正高级经济师2025年1月20日,唐纳德#x2022;特朗普宣誓成为美国第47任总统,同日签署行政令宣布美国将再次退出《巴黎气候协定》,并宣布美国进入国家能源紧急状态,将大力开发化石能源。这是世界气候治理和能源低碳转型的一个重要挫折。这一倒退有特朗普个人的原因
近年来,新能源投资步入强竞争时期,加之技术迭代加速跃迁、电力交易市场复杂性增加,基于“价差”的财务投资难以适用于新能源发展新周期,需要在全新的价值维度上找到新的增长点和新路径。(一)新能源投资布局从规模扩张转向质量优先电气化趋势使电力需求激增,新能源投资持续加码,但风光等新能源的
当地时间5月27日,上海电气集团党委书记、董事长吴磊与越南电力集团(EVN)董事长邓黄安举行会谈,双方就进一步深化合作关系,共同探索能源领域的新机遇达成共识。吴磊对EVN长期以来对上海电气的支持表示感谢,并介绍了上海电气近期战略布局和经营状况。他指出,作为拥有120多年历史的全球性装备制造企
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!