登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。
先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,皇帝每晚翻嫔妃的牌子也是数据处理,在翻牌子之前,要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标;更近的说,数据仓库早在大数据这个词出现前就已经成熟发展了好几十年了。所以说,大数据并不新鲜,只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段,顺应这些技术炒出来的概念,但是这些概念都基于一个基本的理念“开源”,这个理念是之前任何阶段都没有过,可以节省费用提高效率,所以大家才都往这个行业里扔火柴(话说现在很多人跟风乱吵,个人认为也不是坏事)。
误区一:只有搞大数据技术开发的,才是真正“圈内人”。
笔者曾经参加过若干会议,70%是偏技术的,在场的都是国内各个数据相关项目经理和技术带头人,大家讨论的话题都是在升级CDH版本的时候有什么问题,在处理Hive作业的时候哪种方式更好,在Storm、Kafka匹配时如何效率更高,在Spark应用时内存如何释放这些问题。参会者都一个态度:不懂大数据技术的人没资格评论大数据,您要不懂Hadoop 2.0中的资源配置,不懂Spark在内存的驻留时间调优,不懂Kafka采集就别参加这个会!对了,最近Google完全抛弃MR只用Dataflow了,您懂吗?
在这里我想说,技术的进步都是由业务驱动的,某宝去了IOE才能叫大数据吗,我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人,用什么按摩手法进行全流程治疗,就不叫大数据分析了吗?技术发展到什么程度,只有一小部分是由科学家追求极致的精神驱动,大部分原因是因为业务发展到一定程度,要求技术必须做出进步才能达成目标的。
所以,真正的大数据“圈内人”至少要包含以下几种人:
一、业务运营人员。比如互联网的产品经理要求技术人员,必须在用户到达网站的时候就算出他今天的心情指数,而且要实现动态监测,这时候只能用Storm或者Spark来处理了;比如电信运营商要求做到实时营销,用户进入营业厅的时候,必须马上推送短信给用户,提示他本营业厅有一个特别适合他的相亲对象(呈现身高、三围、体重等指标),但是见面前要先购买4G手机;再比如病人来到银行开户,银行了解到用户最近1周曾经去医院门诊过两次,出国旅游过3次,带孩子游泳两次,马上客户经理就给客户推荐相关的银行保险+理财产品。这些业务人员,往往是驱动技术进步的核心原因。
二、架构师。架构师有多么重要,当一个业务人员和一个工程师,一个说着业务语言,一个说着技术术语在那里讨论问题的时候,工程师往往想着用什么样的代码能马上让他闭嘴,而架构师往往会跳出来说“不,不能那样,你这样写只能解决一个问题并且会制造后续的若干问题,按照我这个方案来,可以解决后续的若干问题!”一个非技术企业的IT系统水平,往往有70%以上的标准掌握在架构设计人员手里,尽快很多优秀的架构师都是从工程师慢慢发展学习而来的,IT架构的重要性,很多企业都意识到了,这就是很多企业有CTO和CIO两个职位,同样重要!架构之美,当IT系统平稳运行的时候没人能感受到,但是在一个烟囱林立、架构混乱的环境中走过的人眼中,IT开发一定要架构现行,开发在后!
三、投资人。老板,不用说了,老板给你吃穿,你给老板卖命,天生的基础资料提供者,老板说要有山便有了山,老板说要做实时数据处理分析,便有了Storm,老板说要做开源,便有了Hadoop,老板还说要做迭代挖掘,便有了Spark……
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,南方能源大数据中心与南方电网大湾区数字产业基地顺利投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施。南方能源大数据中心位于全国一体化算力网络国家枢纽节点贵州(贵安)枢纽,首期规划建成两栋机楼及一栋运检楼,承载约2000架10千瓦机柜,定位南方电网公司双活生
日前,南方能源大数据中心与南方电网大湾区数字产业基地分别在贵州贵阳、广东惠州投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施,有力展示公司主动融入国家“东数西算”工程建设,加快数字化转型和数字电网建设,加快向数字电网运营商、能源产业价值链整合商、能源生态系
问:您常年从事汽车相关教学工作,对新能源汽车行业的发展较为关注。随着新能源汽车越来越普及,我国充电基础设施也在快速发展,您对此有何看法?杨金龙:近年来,我国新能源汽车行业发展迅猛,充电基础设施建设也取得了令人瞩目的成绩。在我所生活的浙江省杭州市桐庐县,无论是旅游景区还是公共停车场
国家电网有限公司大数据中心深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,牢牢把握“强化企业级统筹”“深化数字赋能赋效”“强化人工智能应用”“加强自主运维”四个方面要求,激活数据要素价值,全力支撑健全完善数字化工作体系、构建新型电力系统、发展新质生产
近日,四川能源监管办发布2024年度煤电机组大数据监管情况通报。通报指出,四川燃煤发电持续发挥“关键少数”重要作用,煤电兜底保障基础不断夯实,顶峰保供能力进一步发挥,企业经营情况进一步改善。全年枯水期完成发电量335.03亿千瓦时,提供了四川主网三分之一以上电量。2024年四川燃煤火电机组平均
2月17日,山东淄博供电公司电力气象智慧预警大数据应用平台上线。该平台深度融合电力数据和气象数据,增强了电力气象灾害的主动预警能力,为淄博电网防灾减灾、安全稳定运行提供保障。强风、雷暴等恶劣天气容易影响电网设备安全运行。为此,淄博供电公司与山东省电力气象技术创新中心联合组建攻坚团队
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,由国网湖南省电力有限公司牵头,中国南方电网有限责任公司、中国长江三峡集团有限公司、华中科技大学、湖南大学和华为技术有限公司等共同编写的水电物联网国际标准IEEEStd2413.3-2024《水电能源物联网导则》正式获批发布。据介绍,在水电能源物联网领域,尤其是在水利水电工程中,数据壁垒易导致
2025年春节,浙江的大街小巷满是烟火与欢笑,当古镇的红灯笼与现代化都市的霓虹一同点亮新春夜空,你是否想过,这背后的用电数据是怎样的经济密码?它们串联起千家万户的团圆,映射出产业发展的新态势。现在,就跟着小e,看看2025年春节浙江用电数据藏着哪些惊喜。刚刚过去的春节(1月28日-2月4日),
正月初九,尽管春节假期已经结束了,但过年的热闹劲儿还未完全消散。2024年12月,中国春节成功列入《人类非物质文化遗产代表作名录》,紧接着,我们迎来了意义非凡的第一个“非遗版”春节。办年货作为春节里必不可少的仪式,承载着我们对新年的期待与祝福。当年轻一代逐渐接过年货采购的接力棒,又是什
3月14日,国网天津电科院协助河北区政府在天津市电力物联网重点实验室举办河北区所属天津市企业重点实验室政企参观交流活动。河北区政府副区长、区科技局、4家天津市企业重点实验室代表参加。政企交流活动代表到电科院天津市电力物联网重点实验室参观电力电缆分实验室、储能分实验室、网络与信息安全分
2024年,能源格局深刻变革,政策导向与市场需求为我们指明方向。中央经济工作会议强调大力发展新质生产力,推动数字经济与实体经济深度融合;国家发布的数据基础设施建设指引,为产业发展提供清晰路径。公司表示,随着可再生能源规模化增长,能源协同优化需求呈现井喷之势,威胜信息将迎来新的行业契机
据广西东兴北投环保水务有限公司消息,近日,广西北投环保水务集团自主研发的智慧水务物联网管理平台正式接入人工智能企业深度求索(DeepSeek)的行业大模型系统。这是广西北投环保水务集团首次通用人工智能大模型融入水务物联网管理体系,通过AI技术与水务场景的深度融合,为城市供水、排水、节水和水
江苏无锡的水域面积占全太湖的26%,人口占太湖流域总人口的4.67%。多年来,无锡始终坚持大力推进太湖治理,取得明显成效。聚焦太湖治理的治污、防污、控污等环节,无锡供电公司挖掘电力数据价值,构建图像识别模型,积极参与太湖治理,辅助地方生态环境部门科学决策。2月6日,美丽无锡建设大会暨新一轮
近日,由国网湖南省电力有限公司牵头,中国南方电网有限责任公司、中国长江三峡集团有限公司、华中科技大学、湖南大学和华为技术有限公司等共同编写的水电物联网国际标准IEEEStd2413.3-2024《水电能源物联网导则》正式获批发布。据介绍,在水电能源物联网领域,尤其是在水利水电工程中,数据壁垒易导致
近日,国际电信联盟电信标准化部门(ITU-T)在瑞士日内瓦分别举办2025年SG20和SG21全体会议。在工业和信息化部科技司的指导下,国家电网有限公司自主发起的ITU-T首个能源领域课题组(Q小组)获批成立,4位专家首次获任不同课题组(Q小组)中层职位,12项ITU-T新标准提案全部通过立项决议,标志着国家电
1月13日,天津市发布《天津市促进先进制造业和现代服务业深度融合发展的实施方案》(津发改服务〔2025〕1号),其中指出,鼓励企业加快云计算、大数据、物联网、区块链等新一代信息技术与制造业融合,加强基础软件和工业软件技术攻关,在智能电网、通信、智能交通等行业加快形成规模化应用。原文如下:
为落实国家电网有限公司关于进一步加快数字化转型的相关部署,国网福建省电力有限公司电力科学研究院在省公司数字化部的指导下,开展面向电力物联网场景的全面感知、高效协同智慧物联技术研究,实现海量感知终端设备统一接入、管控和应用,推动数据同源采集、互联互通。截至2024年年底,福建电网接入站
根据产业发展和行业管理需要,有关单位提出了工业和信息化部物联网标准化技术委员会的组建方案。为进一步听取社会各界意见,现将有关委员名单予以公示,截止日期是2025年1月24日。第一届工业和信息化部物联网标准化技术委员会委员名单
近日,南方电网公司牵头,联合国内三大电信运营商、主流通信设备制造商、终端设备厂商、科研机构以及国家电网部分省级电力公司等23家5G确定性网络产业联盟的合作伙伴,共同发布了《5G-A无源物联@电力场景需求分析白皮书》。作为5G电力应用系列白皮书之一,该白皮书详细介绍了5G-A新型无源物联技术特点
12月17日,智芯公司创新研发的行波测距型中压配电物联网化馈线终端(以下简称“新型FTU”),在四川成都、资阳落地应用。参与试点建设的资阳回澜镇供电所运维人员表示:“产品很贴合现场实际应用,为一线运维工人提供了先进的故障研判技术手段,预计可减少约70%的巡线工作量,大幅缩短故障排查时间,提
5月16日获悉,国网河北省电力有限公司研发的光储充一体化智能控制装置在石家庄、邢台、保定等地完成示范应用,累计有超2万户光储充客户安装使用。据介绍,该装置采用自适应接入引擎技术,内嵌兼容120余种设备型号的通信协议库,实现各设备厂商私有协议与电网标准协议间的实时转换;集成5种主流通信接口
实现高水平科技自立自强,是中国式现代化建设的关键。国家电网有限公司第四届职工代表大会第四次会议暨2024年工作会议提出,要强化核心技术攻关,加快发展新质生产力;发挥新型举国体制优势,提升产业链供应链韧性和控制力;深化完善科研管理机制,不断激发全要素活力。中国电力科学研究院有限公司将全
国网信通1月17日晚间发布2023年度业绩快报,营业收入约80.39亿元,同比增加5.57%;归属于上市公司股东的净利润约8.36亿元,同比增加4.29%;基本每股收益0.7元,同比增加4.48%。报告期内,公司实现营业总收入803,893.61万元,较上年同期增长5.57%;营业利润87,687.51万元,较上年同期下降1.48%,主要因为
近日,由广东电网公司佛山供电局试验所自主研发的“基于智能传感技术的变电设备状态全面感知及主动分析系统”投入应用。该系统以智能传感技术为基础,实现了对变电站全站设备的全方位感知和智能检测,显著提升了设备状态检测的数字化、智能化水平。随着电网规模的大幅增长,运维工作愈加复杂,依靠人力
北极星输配电网获悉,日前,汾阳市人民政府发布关于印发《汾阳市推进气象高质量发展的实施方案》(以下简称《方案》)的通知。《方案》指出,强化气候资源合理开发利用。推进风能、太阳能等新能源开发利用气象服务能力建设,为风电场、光伏电站等规划、建设、运行、调度提供全链条气象服务。充分挖掘宜
导读:近日,四平市人民政府印发了《四平市能源发展“十四五”规划》。四平市“十四五”时期经济社会发展形势将发生深刻变化,新型工业化仍然是一个长期且紧迫的战略任务,能源发展要与之相匹配。全方位打造坚强智能电网。建设主网与配网、城网与农网、电网与电源协调发展的坚强智能电网,提升电网信息
1月28日,河北石家庄供电公司员工通过配网网络化下令平台,一键下达了10千伏华明二线检修指令。现场人员通过移动终端“i国网”APP接收指令并完成相应手续,整个流程准确、迅速,无需人工对话,用时仅40秒。这是该公司首次实施配网调度“网络化下令”。配网网络化下令平台通过信息互联,构建了集“网络
12月17日,江苏省南京市人民政府发布关于印发《南京市推动先进制造业和现代服务业深度融合发展示范行动实施方案》的通知。方案中提到,推动智能电网向应用领域拓展融合。加快推进云计算、大数据、通信、储能技术在智能电网领域的融合创新和应用,推动智能电网向信息通信、传感测量、自动化控制、分布式
3月29日,天津市人民政府印发关于《天津市加快建立健全绿色低碳循环发展经济体系实施方案》(以下简称《方案》)的通知。方案中提出推动能源体系绿色低碳转型。完善能源消费总量和强度双控制度,持续推进节能、提高能效。坚持集中式和分布式并重,大力发展风能、太阳能,扩大非化石能源电力装机规模。
近日,天津发改委印发《天津市能源发展“十四五”规划》。“十四五”天津能源发展的主要任务围绕“补短、强弱、升级、奠基、惠民”,确定了七方面共二十三项重点任务。一是构建多元安全保障体系。大力拓展优质煤源,积极畅通运煤通道,优化煤炭资源供应;扩大油气资源勘探开发,稳定天然气供应渠道,强
近日,国家电网有限公司发布了信息化项目2020年第六次设备招标采购,招标编号:0711-20OTL29812028。为有力支撑常态化疫情防控和经济社会发展,全力支持各类生产企业复工复产,国家电网有限公司现发出2020年第六次信息化设备招标采购招标文件,请各投标人根据当地疫情防控工作总体要求,在有效落实各项
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!