登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
支撑电信、金融、医疗、安全、电力等关键行业大数据应用的基础软件平台将呈一体化形态,它以数据为中心,将操作系统、分布式存储、数据库等产品融合起来,对结构化、半结构化和非结构化等全数据进行高效存储与管理,并对应用提供统一的数据服务支撑接口。大数据环境下的基础软件平台很像一个“泛OS”,将传统操作系统、存储、数据库等等产品和组件有机融合,做到存储资源、计算资源等有效管理和调度,同时为上层数据应用提供统一、易用接口,实现数据采集、存储、计算、应用等全周期的高效易用、安全可靠和易管理。
国际上一体化融合的大数据处理平台已经成为主流趋势。国际IT巨头们在积极发展以平台为核心、面向新型应用模式的一体化行业解决方案和生态系统。2013年,EMC公司发布了自身的Apache Hadoop发行版—Pivotal HD,它将大规模并行数据库技术与Apache Hadoop框架集成,同时发布了一个名为HAWQ的技术,将Greenplum分析型数据库与Hadoop分布式架构进行紧密地融合,实现了HDFS上SQL并行数据库处理,提高了性能并使Hadoop平台与SQL开发者实现了接轨。惠普则发布了大数据解决方案HAVEn分析平台,该平台是惠普大数据产品的组合,它整合了Hadoop/HDFS、HP Autonomy语义处理引擎、HP Vertica列存数据库、EntERPrise Security安全技术等形成大数据处理方案。
围绕行业大数据应用构建大数据处理基础软件平台的关键问题是如何解决结构化和非/半结构化不同类型的数据融合,以及实现不同类型数据处理模式的整合。单一的MPP数据库或Hadoop产品一般很难满足行业用户对结构化和非/半结构化数据融合的业务需求,这两种方式的界限正在实际应用部署被打破,市场上正逐步形成以全数据处理为核心,垂直整合操作系统、MPP数据库、Hadoop、统一数据服务的基础软件平台产品。
在国内,业界的主流思路是:用基于MPP架构的新型数据库集群(如EMC GreenPlum、南大通用GBase 8a、HP Vertica等)管理结构化大数据,侧重于行业大数据分析型应用场景;用基于Hadoop的技术扩展和封装(如HBase数据库)管理非/半结构化大数据,侧重于互联网大数据应用场景。MPP集群与Hadoop产品混搭部署、相互融合,共同支撑大数据应用。
MPP与Hadoop的应用融合是大数据处理基础软件平台需要解决的一个核心技术问题。为了让平台能够更好地支撑行业大数据应用,不改变用户习惯的SQL这种更易于理解的、交互性更好的访问接口,架构需要以MPP数据库及计算框架为核心,将MPP运算调度引擎完全融入非关系型运算调度框架,实现可以同时调度关系运算和非关系运算的调度引擎,构建统一的结构化信息提取和数据类型转换框架,将非/半结构化数据映射为关系模型,实现面向关系模型的全数据统一视图,从而平滑的实现MPP数据库和Hadoop的统一调度和处理,为新型的基础软件平台和上层应用提供数据服务。
当前,国家的大数据战略、信息安全战略,以及大数据行业应用引发了对国产大数据处理基础软件平台的强劲需求。国产基础软件厂商应协同作战,抓紧市场与技术的双重时机,发展国产化大数据处理基础软件平台,并在国计民生的大数据应用系统中成为重要支撑。与此同时,在关键发展时间窗,国家应及时给予大力支持和帮助,避免大数据领域基础软件平台几年后再次走上“国产化”替代的老路。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
“歧口村西北歧口10号配变负载率预警。”11月25日,国网河北黄骅市供电公司南排河供电所值班人员赵亮收到“煤改电”用电监测平台预警信息,随即调度人员加强巡检,关注该台区供电情况。作为“煤改电”大省,河北南部地区约有111.35万“煤改电”用户。每年冬季采暖期间,“煤改电”台区负荷升高,容易引
11月27日,重庆永川供电公司配电网停电计划智能管理微应用正式上线。该应用通过流程机器人、大数据分析等技术精准辨识风险,优化管控全流程,实现“季、月、周”计划全周期的规范化、滚动化申报。该应用实现停电计划的平衡时间被压70%、变更率被压缩15%。
11月26日,南方能源大数据中心通信通道建设项目两条独立路由光缆通过验收。目前,该数据中心建设已基本完工,正在进行玻璃幕墙安装、园林绿化和室内保洁等工作。“11月27日实现室内通电。按照计划,将在12月初完成综合验收,并移交业主方。12月30日实现初步运营。据了解,作为南方五省能源数据汇聚中心
11月25日,国家电网有限公司电力大数据技术及应用实验室第一届学术指导委员会成立大会暨第一次全体会议在北京召开。据介绍,学术指导委员会是该实验室的研究决策和评议机构,负责审议实验室的研究方向,决定学术方面的重大事宜,评估检查课题进展等。本届学术指导委员会由中国工程院院士郭剑波担任主任
根据《河南省工业和信息化厅河南省机关事务管理局河南通信管理局关于遴选2024年度省级绿色数据中心的通知》(豫工信联节〔2024〕74号),经各单位自愿申报、专家评审,拟授予郑州电力高等专科学校等5家单位的数据中心为河南省绿色数据中心,现予公示。
国家电网有限公司有关单位充分挖掘电力大数据价值,用于反演、推算、分析能源活动和碳排放情况,为企业节能降碳、区域污染防治、绿色金融发展等提供数据支撑,服务绿色低碳转型。北京:“电力看双碳双控”助力区域减碳治污电力大数据具有实时性强、准确度高、采集范围广等特点,可以用于分析能源活动和
围绕人工智能规模化应用样本需求,国家电网有限公司大数据中心初步建成具备样本清洗、分类、标注、质检等能力的人工智能样本库——近期,国家电网有限公司大数据中心设计中心(人工智能样本中心)技术攻关团队队员正依托公司级人工智能样本库,针对公司总部及各省级电力公司人工智能模型训练需求,开展
正泰稳护中国联通乌镇智算中心电力建设
机房蜂鸣声此起彼伏,连排机柜灯光闪动,实时数据联通东西……在富集的新能源强劲支撑下,一块块数据链高速运算的赛博“拼图”,正在西北内陆渐次“点亮”。在新质生产力培育的大潮中,甘肃、青海、宁夏等西北内陆地区以“东数西算”工程为契机,积极参与构建全国一体化算力网络体系,为新时代西部大开
11月15日,宁夏吴忠市人民政府印发《吴忠市燃气发展规划(2024-2035年)》的通知(吴政办发〔2024〕23号),其中指出,燃气经营企业全面构建基于数据采集与监控(SCADA)、地理信息系统(GIS)的“智慧燃气”管理系统,利用信息化手段加强企业经营管理和燃气生产、储存、输送、使用等全过程数字化管控
11月15日,浙江省正式发布“工业碳效码3.0”版本,在原有碳效码评价体系的基础上全新发布“碳足迹数智服务应用”。对于制造业企业来说,产品从原料获取到生产、分销运输,再到使用、废弃,每个阶段都会产生碳排放和其他温室气体,这就是“碳足迹”。该应用通过大数据、云计算等数字新技术,实现了面向
9月19日获悉,国家电网有限公司信息通信分公司牵头,与国家电网有限公司客户服务中心、国网信通产业集团北京中电普华信息技术有限公司等单位完成了“网上国网”系统数据库的优化升级,实现了公司关键业务系统的国产化数据库替换和系统数据全面上云。“网上国网”系统是公司官方统一线上服务门户,目前
近日,高特电子CEO徐剑虹与FractalEMSCEODanielCrotzer于美国加利福尼亚正式签署《战略合作备忘录》,并宣布双方已成功联合开发出具备信息安全保障的美国版BMS。该备忘录的签署不仅是对全球能源转型浪潮的积极响应,更是双方携手构筑信息安全防线的深刻承诺。《战略合作备忘录》明确了双方基于平等互利
集团公司对网络安全工作的高度重视,按照集团公司、新疆公司网络安全专题会议要求,华电昌吉分公司积极响应,通过重点时期、重要时段的演练进一步提升公司的网络安全防护能力,确保电力生产及信息系统的平稳运行。为全面做好网络重要时段保障工作,昌吉分公司超前谋划,重点部署,迅速成立了网络安全专
为切实提升网络信息安全防护技能,全力做好集团公司网络安全攻防实战演练防守工作,5月15日,国能龙岩发电公司加强组织领导,从提高思想意识着手,严格遵守演练注意事项,做好应急管理等措施,不断强化网络信息安全。该公司要求全员切实提高政治站位,加强组织领导,按照谁主管谁负责,谁运营谁负贵,
4月26日,国网天津电科院开展防消相结合的机房消防应急演练,进一步提高机房安全管理水平,增强员工消防安全意识,提升应对突发事件和应急处置能力。演练前,电科院制定了详细的演练方案,并对参与演练的运维人员进行了包括火灾预防措施、应急疏散程序以及灭火器材的正确使用方法等消防安全知识的培训
3月26日,国网天津电科院以“查隐患、控风险、抓落实、保安全”为主线开展春季信息安全大检查,全面排查信息设备、信息系统、网络专线、科技产出系统等信息安全,保障企业网络设备安全稳定运行,提升公司整体网络安全防护水平。本次工作中,电科院以现场排查、梳理自查、专项督查等多种形式相结合,结
3月27日,国网光山县供电公司2名信息专业工作人员正在认真梳理公司信息网络设备地址,确保省市公司关于IP地址资源管理提升工作的相关要求落实落地落细,为企业网络安全、稳定、可靠、高效运行夯实基础。IP地址资源管理是网络安全和性能管理的关键组成部分,有效的IP地址管理可以帮助企业确保网络的可用
为进一步加强和规范网络信息安全管理,切实提升员工网络与信息安全的主观防护意识,今年以来,国能晋江热电公司从安全自查、公司排查和规范管理三方面行动,构筑网络信息安全防护墙。根据网络信息安全管理要求,该公司要求所有员工对所使用电脑进行自查,确保所有办公电脑全部安装集团360软件,提高安
2月7日,国网天津电科院开展春节前网络信息安全专项检查,筑牢节日期间信息网络安全防线,严防信息安全事故发生,多措并举确保信息网络安全运行可靠。电科院信息安全分管领导和科技管理部门负责人带队,有序组织信息专责及运维人员成立专项排查小组,结合信息设备和办公区域实际运行情况,分别前往东丽
2024年1月10日,工业和信息化部党组书记、部长金壮龙到国家工业信息安全发展研究中心调研,了解工控安全、工业软件验证等重点平台和实验室建设运行情况,研究推动制造业数字化转型工作措施。金壮龙指出,中央经济工作会议强调要大力推进新型工业化,广泛应用数智技术、绿色技术,加快传统产业转型升级
为进一步推动网络信息安全建设,强化各级人员网络安全辨识能力,规范网络及终端安全办公,最近,盐城供电公司营销部组织员工进行网络信息安全专项培训,主要针对场所防护、终端防护以及互联网资产三方面进行宣贯学习,通过网络安全宣传教育专项工作,为公司网络信息安全筑起一道坚实的防线。盐城供电公
随着多地气温下降,近期国内煤炭需求量不断走高。中电联10月25日发布的预测显示,今年迎峰度冬期间全国电力供需将呈总体紧平衡。为此,继续加大煤炭先进产能释放力度,保证发电燃煤可靠供应是重中之重。“我们全力以赴保障今冬明春煤炭稳定供应,目前筹备规划充足。”在煤炭主产地内蒙古,国家电投霍林
2011年6月16日,由国家商务部、工业和信息化部、教育部联合主办的2010-2011中国软件和信息服务业年度颁奖典礼在大连举行。南瑞集团研制的“PI3000电力基础软件平台”获最具竞争力产品奖。PI3000电力基础软件平台是南瑞集团信通公司集多年电力信息系统项目实施经验,在对电力用户的企业模型、业务流程、业务应用等诸多方面深入研究和精心提炼后,结合最新信息技术研制的具有全新特性的电力业务基础软件平台。它能够针对电力企业复杂易变的需求敏捷的构建和维护业务模型,并为个性化的二次开发提供完备的基础设施,自动或辅助应用系统的生成。该平台成功应用于国家电网公司
南瑞研发电力业务基础软件平台通过国家电网公司验收 本网讯通讯员邬中建赵嘉莅报道南瑞信息公司“电力业务基础软件平台的研究与开发”项目2008年1月通过国家电网公司组织的验收。项目验收专家委员会听取了项目的研制报告,审查了技术资料、用户报告和由江苏省软件产品检测中心提供的“软件产品检测报告书”,经讨论一致认为,“电力业务基础软件平台”设计思想和实现技术先进,形成了具有自主知识产权的行业软件系统。系统功能齐全,稳定可靠,实用性强,应用系统构建速度快,便于用户自主维护,在行业内处于国内领先水平,尤其在动态业务建模和应用功能自动生成等技术方面具有创新性。同意通过
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!