登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
支撑电信、金融、医疗、安全、电力等关键行业大数据应用的基础软件平台将呈一体化形态,它以数据为中心,将操作系统、分布式存储、数据库等产品融合起来,对结构化、半结构化和非结构化等全数据进行高效存储与管理,并对应用提供统一的数据服务支撑接口。大数据环境下的基础软件平台很像一个“泛OS”,将传统操作系统、存储、数据库等等产品和组件有机融合,做到存储资源、计算资源等有效管理和调度,同时为上层数据应用提供统一、易用接口,实现数据采集、存储、计算、应用等全周期的高效易用、安全可靠和易管理。
国际上一体化融合的大数据处理平台已经成为主流趋势。国际IT巨头们在积极发展以平台为核心、面向新型应用模式的一体化行业解决方案和生态系统。2013年,EMC公司发布了自身的Apache Hadoop发行版—Pivotal HD,它将大规模并行数据库技术与Apache Hadoop框架集成,同时发布了一个名为HAWQ的技术,将Greenplum分析型数据库与Hadoop分布式架构进行紧密地融合,实现了HDFS上SQL并行数据库处理,提高了性能并使Hadoop平台与SQL开发者实现了接轨。惠普则发布了大数据解决方案HAVEn分析平台,该平台是惠普大数据产品的组合,它整合了Hadoop/HDFS、HP Autonomy语义处理引擎、HP Vertica列存数据库、EntERPrise Security安全技术等形成大数据处理方案。
围绕行业大数据应用构建大数据处理基础软件平台的关键问题是如何解决结构化和非/半结构化不同类型的数据融合,以及实现不同类型数据处理模式的整合。单一的MPP数据库或Hadoop产品一般很难满足行业用户对结构化和非/半结构化数据融合的业务需求,这两种方式的界限正在实际应用部署被打破,市场上正逐步形成以全数据处理为核心,垂直整合操作系统、MPP数据库、Hadoop、统一数据服务的基础软件平台产品。
在国内,业界的主流思路是:用基于MPP架构的新型数据库集群(如EMC GreenPlum、南大通用GBase 8a、HP Vertica等)管理结构化大数据,侧重于行业大数据分析型应用场景;用基于Hadoop的技术扩展和封装(如HBase数据库)管理非/半结构化大数据,侧重于互联网大数据应用场景。MPP集群与Hadoop产品混搭部署、相互融合,共同支撑大数据应用。
MPP与Hadoop的应用融合是大数据处理基础软件平台需要解决的一个核心技术问题。为了让平台能够更好地支撑行业大数据应用,不改变用户习惯的SQL这种更易于理解的、交互性更好的访问接口,架构需要以MPP数据库及计算框架为核心,将MPP运算调度引擎完全融入非关系型运算调度框架,实现可以同时调度关系运算和非关系运算的调度引擎,构建统一的结构化信息提取和数据类型转换框架,将非/半结构化数据映射为关系模型,实现面向关系模型的全数据统一视图,从而平滑的实现MPP数据库和Hadoop的统一调度和处理,为新型的基础软件平台和上层应用提供数据服务。
当前,国家的大数据战略、信息安全战略,以及大数据行业应用引发了对国产大数据处理基础软件平台的强劲需求。国产基础软件厂商应协同作战,抓紧市场与技术的双重时机,发展国产化大数据处理基础软件平台,并在国计民生的大数据应用系统中成为重要支撑。与此同时,在关键发展时间窗,国家应及时给予大力支持和帮助,避免大数据领域基础软件平台几年后再次走上“国产化”替代的老路。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
6月23日,国网冀北经研院完成阳原220千伏变电站新建工程土建全部图纸交付,为工程顺利投产打下坚实基础。本工程土建专业共涉及32个卷册,约250张图纸,每张图纸在自检的基础上开展校核、审核、批准三级校审,确保工程设计质量符合各项规程、规范及国网相关要求。图纸交付后及时开展现场交底,同施工单
2025年6月20日-21日,2025国家能源互联网大会在杭州国际博览中心成功举办。本届大会由清华大学、国家电网公司联合主办,清华大学能源互联网创新研究院、杭州市萧山区人民政府、国网浙江省电力有限公司杭州供电公司、中国能源研究会承办,清华四川能源互联网研究院、清华大学碳中和研究院、清华大学国家
近日,工业和信息化部等六部门联合印发《纺织工业数字化转型实施方案》(以下简称《实施方案》),聚焦新一代信息技术赋能行动、新模式新业态创新应用行动、产业高质量发展行动、夯实支撑基础行动等4个方面提出18项具体工作任务。《实施方案》提出,加速绿色化转型。推动纺织全产业链生产装备、用能单
北极星储能网获悉,6月23日消息,通辽市人民政府关于印发蒙东(通辽)绿色算力产业发展规划的通知,其中,打造绿色算力中心中提出,鼓励算力中心部署高效IDC设备,推广模块化UPS,支持算力企业探索利用共享储能、储氢、飞轮储能、锂电池等作为多元化储能和备用电源装置。优化算力中心能源、水资源、土
2025年5月,全国全行业用电指数为137.5,全行业用电量比2020年基期(以2020年基期为100)增长了37.5%,年均增长6.6%,同比增长3.7%。5月,农林牧渔业用电指数为177.0,比2020年基期增长了77.0%,年均增长12.1%,同比增长8.4%。5月,制造业用电指数为130.9,比2020年基期增长了30.9%,年均增长5.5%,同
电力市场正经历从计划经济向市场化转型的深刻变革,随着新能源全面入市和全国统一电力市场的建设推进,电力交易的盈利模式正从单一差价套利转向多元化增值服务。一度电在电力市场交易中有多少利润?成为电力产业链上各环节参与者,尤其是发电企业、电网企业、售电公司关注的核心问题。(来源:北极星售
6月14日,随着金华燃机500千伏电力送出工程投运,今年浙江电网迎峰度夏重点工程全部投产。该工程起于金华燃机电厂,与500千伏双龙—兰溪电厂线路π接,并新建长12.36千米的500千伏金华燃机—双龙线路。该工程的投产可保障电厂发电可靠送出,增强金华地区电力供应能力。年初以来,浙江经济平稳向好,用
6月20日,美国工程院院士、宁波东方理工大学常务副校长兼教务长张东晓在2025国家能源互联网大会上作《科学机器学习与智慧能源系统》的主旨报告,报告围绕人工智能的发展历程及实际应用、能源互联网的应用以及新能源发展的特点展开。他认为,当前大模型在生动性上表现出色,但常违反物理规律。在文学艺
基本信息中文名称:2025深圳国际水务科技博览会(IWTE2025)英文名称:ShenzhenInternationalWaterTechnologyExpo2025展会时间:2025年11月24-26日展会地点:深圳会展中心(福田)展会规模:展览面积50000平米,展商1000余家,展位2000个,专业观众35000人次组织机构组织单位《给水排水》杂志社亚太建设科
随着“4·30”、“5·31”两大并网政策节点相继收官,国内分布式光伏市场正式告别上半年密集的抢装周期。不少从业者在短暂地松一口气后,普遍陷入战略迷茫——全面入市后的分布式光伏的商业可行性是否面临重构?行业增长极又将向何处迁移?在2025年SNEC展上,行业领军企业铭安集团创始人、董事长褚铭,
在全球能源结构加速转型背景下,光伏产业正成为推动可持续发展的关键力量。在SNEC第十八届(2025)国际太阳能光伏与智慧能源(上海)大会暨展览会上,作为智能制造技术和装备供应商,汇博机器人推出的光伏电站智能运维全场景解决方案获行业高度关注。近年来,汇博机器人加速产品迭代,精准满足市场需求,业
北极星售电网获悉,6月20日,内蒙古自治区能源局发布关于印发《内蒙古自治区分布式光伏项目开发建设管理实施细则》的通知。文件明确,分布式光伏上网模式包括全额上网、全部自发自用、自发自用余电上网三种。自然人户用、非自然人户用分布式光伏可选择全额上网、全部自发自用或者自发自用余电上网模式
近期,四川省能源局转发了国家能源局《分布式光伏发电开发建设管理办法》及《分布式光伏发电开发建设管理办法问答(2025年版)》,并结合四川省实际提出五点意见。其中提到,要坚持应备尽备、能建快建,支持工商业分布式光伏发电加快发展。科学有序实施“千家万户沐光行动”,在充分尊重农民意愿、保护
北极星售电网获悉,山东省发展和改革委员会山东省能源局国家能源局山东监管办公室6月17日发布关于印发《山东省分布式光伏发电开发建设管理实施细则》的通知,分布式光伏发电上网模式包括全额上网、全部自发自用、自发自用余电上网三种。自然人户用、非自然人户用分布式光伏可选择全额上网、全部自发自
6月17日,山东省能源局正式下发《山东省分布式光伏发电开发建设管理实施细则》,细则指出,分布式光伏发电上网模式包括全额上网、全部自发自用、自发自用余电上网三种。自然人户用、非自然人户用分布式光伏可选择全额上网、全部自发自用或者自发自用余电上网模式。一般工商业、大型工商业分布式光伏可
2025年2月,国家发展改革委、国家能源局下发了《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号),标志着我国新能源产业和电力市场建设进入新的发展阶段。新能源存量项目如何与“机制电量/价”衔接,增量项目如何进行科学投决,如何全面参与电力市场从单一的
当前,能源产业生态正经历从“供给侧资源主导”向“需求侧价值创造”的范式跃迁。现代能源服务业通过构建“用户需求-能效服务-价值共享”的新型商业闭环,催生出涵盖规划咨询、系统集成、智慧运维的全周期解决方案。为把握产业变革机遇,北极星电力网拟于2025年8月7-8日在上海举办2025第七届综合能源服
被誉为中国风电“风向标”与“晴雨表”的CWP2025将于10月20日—22日在北京·中国国际展览中心(顺义馆)举办来自全球风电领域的1000余家企业将齐聚盛会展会同期还将举办200多场论坛活动将全面聚焦行业热点领航风电产业发展金秋十月诚邀全球风电人共襄盛会CWP2025观众注册全面启动CWP2025不收取参观门票
2025年2月国家发展改革委、国家能源局下发了《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号),标志着我国新能源产业和电力市场建设进入新的发展阶段。新能源存量项目如何与“机制电量/价”衔接,增量项目如何进行科学投决,如何全面参与电力市场从单一的投
6月5日,汉中市发改委发布汉中市电力高质量发展实施意见(草稿),文件指出,鼓励屋顶分布式项目开发,推动工商业屋顶分布式光伏发展,支持优先采用“自发自用”建设模式,鼓励分布式光伏项目配置储能设施,减小公共电网运行压力。住房城乡建设、发展改革、自然资源、财政、机关事务管理等部门,应当共
北极星售电网获悉,近日,陕西省汉中市发展和改革委员会发布《汉中市电力高质量发展实施意见(草稿)》,其中提到,县级以上人民政府及其有关部门应当因地制宜推动储蓄、火电、水电等多种电源与新能源发电协同运营,有序发展多能互补项目;健全多能源发电协同调度机制,统筹优化调峰电源运行,保障新能
关于召开2025第七届综合能源服务与零碳园区建设大会的通知当前,能源产业生态正经历从“供给侧资源主导”向“需求侧价值创造”的范式跃迁。现代能源服务业通过构建“用户需求-能效服务-价值共享”的新型商业闭环,催生出涵盖规划咨询、系统集成、智慧运维的全周期解决方案。为把握产业变革机遇,北极星
随着2025山西城市管网暨智慧水务博览会的深入进行,来自全国乃至全球的水务行业精英、专家学者及企业代表汇聚一堂,共同探讨智慧水务的未来发展趋势与技术创新。展会现场,高科技产品与解决方案琳琅满目,从智能水表、远程监控系统到大数据分析平台,每一项技术都彰显着智慧水务的无限潜力。特别值得关
北极星电力软件网获悉,近日,中共福建省委、福建省人民政府印发了《福建省质量强省建设纲要》,并发出通知。《福建省质量强省建设纲要》明确了重点任务。(一)实施重点产品质量提升工程1.提高食品农产品质量安全水平。严格落实食品安全“四个最严”要求,实行全主体、全品种、全链条监管,实施粮食质
近日,习近平总书记在中共中央政治局第三次集体学习时强调,切实加强基础研究,夯实科技自立自强根基。企业是创新的主体。近年来,南方电网公司大力开展基础研究和应用基础研究,构建专业齐全的创新平台体系,充分发挥国家实验室引领作用,加快科技自立自强,全力打造国家战略科技力量和全球能源创新高
为积极应对能源互联网在新形势下的机遇与挑战,清华大学、中国南方电网有限责任公司、国家能源互联网产业及技术创新联盟盛大召开“2022国家能源互联网大会”。大会现场《openEuler在电力行业应用和生态白皮书》正式发布。《openEuler在电力行业应用和生态白皮书》是由中国能源研究会信息通信专业委员会
为贯彻中央经济工作会议精神,落实《政府工作报告》和全国工业和信息化工作会议任务部署,推动行业质量技术创新和管理进步,促进制造业高质量发展,工业和信息化部办公厅近日发出通知,部署了推动企业质量管理体系升级、实施制造业质量管理数字化行动、深化企业先进质量管理工具与方法运用、提高制造业
当前,国家电网有限公司加快推动电网向能源互联网升级,很多领域即将迈入“无人区”,需要突破别人尚未掌握的重大技术。公司党组为强化科技创新出台了一系列有力举措,创造了良好的环境和条件。作为公司科技产业领军企业,南瑞集团有限公司将以习近平新时代中国特色社会主义思想为指导,深入贯彻公司20
一、研发背景长期以来,电力通信按照分层、分级、分区模式进行管理,各级电力企业已建综合网管系统基本上都是孤立的、非标准化的,业务和信息集成度相对较差,无法进行有效的数据共享,容易形成资源孤岛和信息孤岛。十二五期间,国家电网公司通信网建设将在广度和深度上都有了新的巨大发展,同时也面临新的重
恒华科技6月3日早间公告,公司与厦门亿力吉奥信息科技有限公司签署了《电力信息社区项目合作协议》。据悉,亿力吉奥作为国网信通产业集团的下属企业,是电力行业整体解决方案的软件和服务提供商。亿力吉奥基于自主研发具有核心竞争力与自主知识产权的电力GIS基础软件平台EPGIS平台,是国家电网公司旗下
一、 方案概述:基于一体化支撑平台,研发了实时监控与预警、调度计划、安全校核和调度管理四大类应用,实现了调度控制业务的横向集成和纵向贯通,充分考虑各级调度的业务特点和相互之间的内在联系,实现一体化运行、一体化维护和一体化使用,能够满足各级调度机构及调度各专业的需要,满足一体化智能
我国云计算产业即将迎来黄金发展机遇。近日,工信部启动针对云计算的“十三五”规划,将重点培育龙头企业,发挥其对产业发展的辐射作用,打造云计算产业链。在政府机构大力主导信息国产化的背景下,实现国产化设备进口替代已成为保障信息安全的必经之路,尤其是在“棱镜门”、“黑客攻击”等频频发生的信息安全事件之后,对于国产设备的可管可控以及信息安全的切实需求一再提升,国产化设备进口替代的进程也大大提速。相信随着云计算“十三五”规划的进一步落地,未来信息设备国产化的步伐有望进一
2014年7月11日,南瑞集团北京中电普华信息技术有限公司自主研发的“SoGrid 云应用平台”(beta版)新产品发布会在北京隆重召开。SoGrid的发布将为企业应用开发者提供一种全新的、高效的、集成的、构造式的开发环境,创造一种轻松的云开发体验;为企业业务应用的稳定可靠运行提供全面的运行监管保障,为企业用户带来更多运行安全、应用友好的用户体验。国家工信部、国家电网等数十家(特)大型企业、数十家IT界知名企业、相关高校及研究机构100多位嘉宾出席并共同见证这一历史时刻。SoGrid是一款提供丰富构造服务的企业级云应用开发、部署
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!