登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
支撑电信、金融、医疗、安全、电力等关键行业大数据应用的基础软件平台将呈一体化形态,它以数据为中心,将操作系统、分布式存储、数据库等产品融合起来,对结构化、半结构化和非结构化等全数据进行高效存储与管理,并对应用提供统一的数据服务支撑接口。大数据环境下的基础软件平台很像一个“泛OS”,将传统操作系统、存储、数据库等等产品和组件有机融合,做到存储资源、计算资源等有效管理和调度,同时为上层数据应用提供统一、易用接口,实现数据采集、存储、计算、应用等全周期的高效易用、安全可靠和易管理。
国际上一体化融合的大数据处理平台已经成为主流趋势。国际IT巨头们在积极发展以平台为核心、面向新型应用模式的一体化行业解决方案和生态系统。2013年,EMC公司发布了自身的Apache Hadoop发行版—Pivotal HD,它将大规模并行数据库技术与Apache Hadoop框架集成,同时发布了一个名为HAWQ的技术,将Greenplum分析型数据库与Hadoop分布式架构进行紧密地融合,实现了HDFS上SQL并行数据库处理,提高了性能并使Hadoop平台与SQL开发者实现了接轨。惠普则发布了大数据解决方案HAVEn分析平台,该平台是惠普大数据产品的组合,它整合了Hadoop/HDFS、HP Autonomy语义处理引擎、HP Vertica列存数据库、EntERPrise Security安全技术等形成大数据处理方案。
围绕行业大数据应用构建大数据处理基础软件平台的关键问题是如何解决结构化和非/半结构化不同类型的数据融合,以及实现不同类型数据处理模式的整合。单一的MPP数据库或Hadoop产品一般很难满足行业用户对结构化和非/半结构化数据融合的业务需求,这两种方式的界限正在实际应用部署被打破,市场上正逐步形成以全数据处理为核心,垂直整合操作系统、MPP数据库、Hadoop、统一数据服务的基础软件平台产品。
在国内,业界的主流思路是:用基于MPP架构的新型数据库集群(如EMC GreenPlum、南大通用GBase 8a、HP Vertica等)管理结构化大数据,侧重于行业大数据分析型应用场景;用基于Hadoop的技术扩展和封装(如HBase数据库)管理非/半结构化大数据,侧重于互联网大数据应用场景。MPP集群与Hadoop产品混搭部署、相互融合,共同支撑大数据应用。
MPP与Hadoop的应用融合是大数据处理基础软件平台需要解决的一个核心技术问题。为了让平台能够更好地支撑行业大数据应用,不改变用户习惯的SQL这种更易于理解的、交互性更好的访问接口,架构需要以MPP数据库及计算框架为核心,将MPP运算调度引擎完全融入非关系型运算调度框架,实现可以同时调度关系运算和非关系运算的调度引擎,构建统一的结构化信息提取和数据类型转换框架,将非/半结构化数据映射为关系模型,实现面向关系模型的全数据统一视图,从而平滑的实现MPP数据库和Hadoop的统一调度和处理,为新型的基础软件平台和上层应用提供数据服务。
当前,国家的大数据战略、信息安全战略,以及大数据行业应用引发了对国产大数据处理基础软件平台的强劲需求。国产基础软件厂商应协同作战,抓紧市场与技术的双重时机,发展国产化大数据处理基础软件平台,并在国计民生的大数据应用系统中成为重要支撑。与此同时,在关键发展时间窗,国家应及时给予大力支持和帮助,避免大数据领域基础软件平台几年后再次走上“国产化”替代的老路。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
2024年10月,国家发改委副主任在新闻发布会上表示,未来五年需要改造的城市燃气、供排水、供热等各类管网总量将近60万公里,投资总需求约4万亿元。旨在加强城市基础设施建设,特别是抓好城市地下管网等“里子”工程建设,加快补齐城市安全韧性短板,打造宜居、韧性的智慧城市。作为管网领域权威的产品
北极星售电网获悉,近日,国家能源局发布关于十四届全国人大三次会议第6981号建议的答复摘要。答复文件明确,“十四五”以来,能源行业坚决贯彻落实党中央、国务院决策部署,锚定碳达峰、碳中和目标,不断夯实能源工作法治保障体系。推动电力行业绿色发展法治保障,对于促进电力行业绿色低碳转型,实现
北极星储能网获悉,7月14日,大连市工业和信息化局发布对市政协十四届四次会议第0110号提案的答复,提到加强人才培养。大连理工大学2024年新增储能科学与工程本科专业,实施本硕博贯通长周期培养模式。在电化学储能、液流电池、固态电池、压缩空气储能、氢能、储能装备与安全、能源互联网等关键技术及
四川正加快建设国家清洁能源示范省和碳排放双控先行探索示范区。国网四川电力深入推进电力数据共享共用,开发系列能源电力大数据产品,提升负荷预测准确率和碳排放量测算精准度,服务公共机构、重点企业等节能降碳。7月2日,国网四川省电力公司数字化工作部员工应用四川省碳排放监测分析服务平台的“电
新能源主导地位凸显——中电联电力行业年度发展报告解读7月10日,中国电力企业联合会(以下简称“中电联”)发布《中国电力行业年度发展报告2025》(以下简称《报告》)。《报告》显示,在2024年电力行业发展中,新能源主导地位持续凸显,绿色低碳转型加速推进。新能源参与市场化交易电量突破万亿千瓦
北极星售电网获悉,7月10日,山东青岛市人民政府发布关于印发《青岛市加快经济社会发展全面绿色转型实施方案》(以下简称《方案》)的通知。《方案》指出,加快构建新型电力系统。统筹本地电网结构优化和互联输电通道建设,推进琅琊、寨里等500千伏骨干电网工程。加快微电网、虚拟电厂、源网荷储一体化
7月10日,中国电力企业联合会举办新闻发布会,发布《中国电力行业年度发展报告2025》(简称“报告”)。《报告》显示,截至2024年底,全国全口径发电装机容量33.5亿千瓦,同比增长14.6%。其中,并网风电5.2亿千瓦,同比增长18.0%(其中陆上风电4.8亿千瓦,海上风电4127万千瓦);并网太阳能发电8.9亿千瓦,
7月12日,位于内蒙古自治区鄂尔多斯市的中核集团“国铀一号”示范工程顺利生产出第一桶铀产品。“国铀一号”示范工程是我国产能规模最大、建设标准最高、技术水平最先进的天然铀产能基地,具有绿色、经济、智能、高效的特点。该项目于2024年7月12日开工建设,一年时间即生产出产品,创国内天然铀产能项
最新数据显示,今年6月,浙江省规上外贸工业用电量同比增长2.0%,较5月同比增速高1.4个百分点。特别是5月12日中美日内瓦经贸会谈发布《联合声明》后,用电增速达2.2%,较会谈前回升2个百分点,外贸企业运行总体稳进向好。2025年,面对美国关税政策对浙江外贸企业造成的不利影响,国网浙江电力与浙江省
2025年6月29日至7月11日,国际原子能机构应中方邀请来华开展核与辐射安全监管领域综合监管评估(以下简称综合评估),高度肯定中国核与辐射安全监管水平和成效,认定可在国际社会推广的多项良好实践和良好业绩,并于评估结束后举办联合新闻发布会。综合评估是国际原子能机构最具影响力的国际同行评估之
继4月交通运输部与国家发改委等十部门联合印发了交能融合指导意见之后,交通运输部再次携手此前十部门中的三部委,出台与交能融合相关细分领域的规划建设文件。7月7日,国家发展改革委办公厅、国家能源局综合司、工业和信息化部办公厅、交通运输部办公厅联合编制的《关于促进大功率充电设施科学规划建
7月14日,甘肃省发改委发布关于公开征求《甘肃省深化新能源上网电价市场化改革促进新能源高质量发展实施方案(征求意见稿)》意见的公告。文件规定了存量项目和增量项目的电量规模、机制电价和执行期限以及竞价实施细则。存量项目(2025年6月1日以前投产)(1)纳入机制的电量规模为154亿千瓦时。(2)
北极星售电网获悉,7月14日,甘肃省发展和改革委员会发布关于公开征求《甘肃省深化新能源上网电价市场化改革促进新能源高质量发展实施方案(征求意见稿)》意见的公告。《甘肃省深化新能源上网电价市场化改革促进新能源高质量发展实施方案(征求意见稿)》提到,省内集中式光伏、集中式风电、分布式光
近年来,随着风电、光伏等波动性可再生能源在电力系统中占比不断攀升,电力系统固有的“刚性”调节能力面临前所未有的挑战。(来源:中国能源观察作者:王睿佳)今年4月,国家发展改革委、国家能源局印发《关于加快推进虚拟电厂发展的指导意见》(以下简称《指导意见》)指出,“随着新型电力系统建设
6月25日,山西省能源局、国家能源局山西监管办公印发《分布式光伏发电开发建设管理实施细则(试行)》。该细则将于2025年8月1日起施行,有效期两年。根据实施细则,山西省的分布式光伏发电上网模式包括全额上网、全部自发自用、自发自用余电上网三种。其中:一般工商业分布式光伏可选择全部自发自用或
北极星售电网获悉,6月25日,山西省能源局、国家能源局山西监管办公室发布关于印发《分布式光伏发电开发建设管理实施细则(试行)》的通知。文件明确,分布式光伏发电上网模式包括全额上网、全部自发自用、自发自用余电上网三种。自然人户用、非自然人户用分布式光伏可选择全额上网、全部自发自用或者
为全面落实党的二十大关于“加快规划建设新型能源体系”的决策部署,深化产学研用协同创新,以“人工智能深化协同,能源科技求索创新”为主题的“2025国家能源互联网大会”于6月20日—21日召开。华为作为国家能源互联网产业及技术创新联盟(CEIA)理事单位及CEIA能源数字化专委会主任委员单位,于6月20
6月27日,南方电网公司召开2025年迎峰度夏保供电动员会,传达学习贯彻习近平总书记重要指示批示精神,落实国务院及上级部委有关会议精神,分析研判当前形势,进一步部署南方区域迎峰度夏保供电重点任务,确保电网安全稳定运行和电力可靠供应。公司董事、总经理、党组副书记钱朝阳出席会议并讲话。公司
6月25日,TV南德意志集团(TV南德)向海辰储能颁发基于IEC62443-4-1标准的工业信息安全TVSDMark认证证书。这一认证标志着海辰储能自主研发的BMS平台系统在网络安全性与全球合规性方面达到国际领先水平,进一步夯实公司在全球储能市场的竞争力。颁证仪式值得注意的是,公司近期还通过了ULSolutions基于I
北极星售电网获悉,6月20日,内蒙古自治区能源局发布关于印发《内蒙古自治区分布式光伏项目开发建设管理实施细则》的通知。文件明确,分布式光伏上网模式包括全额上网、全部自发自用、自发自用余电上网三种。自然人户用、非自然人户用分布式光伏可选择全额上网、全部自发自用或者自发自用余电上网模式
近期,四川省能源局转发了国家能源局《分布式光伏发电开发建设管理办法》及《分布式光伏发电开发建设管理办法问答(2025年版)》,并结合四川省实际提出五点意见。其中提到,要坚持应备尽备、能建快建,支持工商业分布式光伏发电加快发展。科学有序实施“千家万户沐光行动”,在充分尊重农民意愿、保护
北极星售电网获悉,山东省发展和改革委员会山东省能源局国家能源局山东监管办公室6月17日发布关于印发《山东省分布式光伏发电开发建设管理实施细则》的通知,分布式光伏发电上网模式包括全额上网、全部自发自用、自发自用余电上网三种。自然人户用、非自然人户用分布式光伏可选择全额上网、全部自发自
2024年10月,国家发改委副主任在新闻发布会上表示,未来五年需要改造的城市燃气、供排水、供热等各类管网总量将近60万公里,投资总需求约4万亿元。旨在加强城市基础设施建设,特别是抓好城市地下管网等“里子”工程建设,加快补齐城市安全韧性短板,打造宜居、韧性的智慧城市。作为管网领域权威的产品
随着2025山西城市管网暨智慧水务博览会的深入进行,来自全国乃至全球的水务行业精英、专家学者及企业代表汇聚一堂,共同探讨智慧水务的未来发展趋势与技术创新。展会现场,高科技产品与解决方案琳琅满目,从智能水表、远程监控系统到大数据分析平台,每一项技术都彰显着智慧水务的无限潜力。特别值得关
北极星电力软件网获悉,近日,中共福建省委、福建省人民政府印发了《福建省质量强省建设纲要》,并发出通知。《福建省质量强省建设纲要》明确了重点任务。(一)实施重点产品质量提升工程1.提高食品农产品质量安全水平。严格落实食品安全“四个最严”要求,实行全主体、全品种、全链条监管,实施粮食质
近日,习近平总书记在中共中央政治局第三次集体学习时强调,切实加强基础研究,夯实科技自立自强根基。企业是创新的主体。近年来,南方电网公司大力开展基础研究和应用基础研究,构建专业齐全的创新平台体系,充分发挥国家实验室引领作用,加快科技自立自强,全力打造国家战略科技力量和全球能源创新高
为积极应对能源互联网在新形势下的机遇与挑战,清华大学、中国南方电网有限责任公司、国家能源互联网产业及技术创新联盟盛大召开“2022国家能源互联网大会”。大会现场《openEuler在电力行业应用和生态白皮书》正式发布。《openEuler在电力行业应用和生态白皮书》是由中国能源研究会信息通信专业委员会
为贯彻中央经济工作会议精神,落实《政府工作报告》和全国工业和信息化工作会议任务部署,推动行业质量技术创新和管理进步,促进制造业高质量发展,工业和信息化部办公厅近日发出通知,部署了推动企业质量管理体系升级、实施制造业质量管理数字化行动、深化企业先进质量管理工具与方法运用、提高制造业
当前,国家电网有限公司加快推动电网向能源互联网升级,很多领域即将迈入“无人区”,需要突破别人尚未掌握的重大技术。公司党组为强化科技创新出台了一系列有力举措,创造了良好的环境和条件。作为公司科技产业领军企业,南瑞集团有限公司将以习近平新时代中国特色社会主义思想为指导,深入贯彻公司20
一、研发背景长期以来,电力通信按照分层、分级、分区模式进行管理,各级电力企业已建综合网管系统基本上都是孤立的、非标准化的,业务和信息集成度相对较差,无法进行有效的数据共享,容易形成资源孤岛和信息孤岛。十二五期间,国家电网公司通信网建设将在广度和深度上都有了新的巨大发展,同时也面临新的重
恒华科技6月3日早间公告,公司与厦门亿力吉奥信息科技有限公司签署了《电力信息社区项目合作协议》。据悉,亿力吉奥作为国网信通产业集团的下属企业,是电力行业整体解决方案的软件和服务提供商。亿力吉奥基于自主研发具有核心竞争力与自主知识产权的电力GIS基础软件平台EPGIS平台,是国家电网公司旗下
一、 方案概述:基于一体化支撑平台,研发了实时监控与预警、调度计划、安全校核和调度管理四大类应用,实现了调度控制业务的横向集成和纵向贯通,充分考虑各级调度的业务特点和相互之间的内在联系,实现一体化运行、一体化维护和一体化使用,能够满足各级调度机构及调度各专业的需要,满足一体化智能
我国云计算产业即将迎来黄金发展机遇。近日,工信部启动针对云计算的“十三五”规划,将重点培育龙头企业,发挥其对产业发展的辐射作用,打造云计算产业链。在政府机构大力主导信息国产化的背景下,实现国产化设备进口替代已成为保障信息安全的必经之路,尤其是在“棱镜门”、“黑客攻击”等频频发生的信息安全事件之后,对于国产设备的可管可控以及信息安全的切实需求一再提升,国产化设备进口替代的进程也大大提速。相信随着云计算“十三五”规划的进一步落地,未来信息设备国产化的步伐有望进一
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!