登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。
先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,皇帝每晚翻嫔妃的牌子也是数据处理,在翻牌子之前,要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标;更近的说,数据仓库早在大数据这个词出现前就已经成熟发展了好几十年了。所以说,大数据并不新鲜,只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段,顺应这些技术炒出来的概念,但是这些概念都基于一个基本的理念“开源”,这个理念是之前任何阶段都没有过,可以节省费用提高效率,所以大家才都往这个行业里扔火柴(话说现在很多人跟风乱吵,个人认为也不是坏事)。
误区一:只有搞大数据技术开发的,才是真正“圈内人”。
笔者曾经参加过若干会议,70%是偏技术的,在场的都是国内各个数据相关项目经理和技术带头人,大家讨论的话题都是在升级CDH版本的时候有什么问题,在处理Hive作业的时候哪种方式更好,在Storm、Kafka匹配时如何效率更高,在Spark应用时内存如何释放这些问题。参会者都一个态度:不懂大数据技术的人没资格评论大数据,您要不懂Hadoop 2.0中的资源配置,不懂Spark在内存的驻留时间调优,不懂Kafka采集就别参加这个会!对了,最近Google完全抛弃MR只用Dataflow了,您懂吗?
在这里我想说,技术的进步都是由业务驱动的,某宝去了IOE才能叫大数据吗,我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人,用什么按摩手法进行全流程治疗,就不叫大数据分析了吗?技术发展到什么程度,只有一小部分是由科学家追求极致的精神驱动,大部分原因是因为业务发展到一定程度,要求技术必须做出进步才能达成目标的。
所以,真正的大数据“圈内人”至少要包含以下几种人:
一、业务运营人员。比如互联网的产品经理要求技术人员,必须在用户到达网站的时候就算出他今天的心情指数,而且要实现动态监测,这时候只能用Storm或者Spark来处理了;比如电信运营商要求做到实时营销,用户进入营业厅的时候,必须马上推送短信给用户,提示他本营业厅有一个特别适合他的相亲对象(呈现身高、三围、体重等指标),但是见面前要先购买4G手机;再比如病人来到银行开户,银行了解到用户最近1周曾经去医院门诊过两次,出国旅游过3次,带孩子游泳两次,马上客户经理就给客户推荐相关的银行保险+理财产品。这些业务人员,往往是驱动技术进步的核心原因。
二、架构师。架构师有多么重要,当一个业务人员和一个工程师,一个说着业务语言,一个说着技术术语在那里讨论问题的时候,工程师往往想着用什么样的代码能马上让他闭嘴,而架构师往往会跳出来说“不,不能那样,你这样写只能解决一个问题并且会制造后续的若干问题,按照我这个方案来,可以解决后续的若干问题!”一个非技术企业的IT系统水平,往往有70%以上的标准掌握在架构设计人员手里,尽快很多优秀的架构师都是从工程师慢慢发展学习而来的,IT架构的重要性,很多企业都意识到了,这就是很多企业有CTO和CIO两个职位,同样重要!架构之美,当IT系统平稳运行的时候没人能感受到,但是在一个烟囱林立、架构混乱的环境中走过的人眼中,IT开发一定要架构现行,开发在后!
三、投资人。老板,不用说了,老板给你吃穿,你给老板卖命,天生的基础资料提供者,老板说要有山便有了山,老板说要做实时数据处理分析,便有了Storm,老板说要做开源,便有了Hadoop,老板还说要做迭代挖掘,便有了Spark……
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
4月29日,山西对《山西省数据工作管理办法》(征求意见稿)公开征求意见。其中提到,山西省人民政府工业和信息化、能源等部门应当推进工业、能源数字化,加强工业互联网、能源数字化建设,围绕煤炭、电力、焦化、煤化工、钢铁、装备制造等传统优势产业,加快推动研发设计、生产制造、经营管理、市场服
在数字经济时代,全社会数据总量呈爆发式增长,支撑海量数据存储计算的数据中心和算力网络逐步成为支撑各行业数字化转型的重要新型基础设施。数据中心在创造经济价值的同时,其能耗也逐渐成为全社会关注的焦点。数据中心节能降耗是大势所趋。国网河北省电力有限公司充分发挥电力数据价值,积极探索服务
近日,国家发展改革委办公厅、国家数据局综合司印发《数字经济2024年工作要点》(以下简称《工作要点》),对2024年数字经济重点工作作出部署。为全面贯彻落实党的二十大和二十届二中全会精神,按照中央经济工作会议和全国两会部署,支持数字经济高质量发展,深入实施推进《“十四五”数字经济发展规划
乌兰察布市源荷互动绿色大数据中心示范项目位于察右后旗境内,于2月27日启动,是一座100兆瓦分散式风电项目,该项目可降低电网多次升降压和长距离输送的电能损失,具有良好的社会综合经济效益。截至4月23日,项目20台风机吊装、集电线路放线都已完成,升压站设备基础完成80%。
4月18日,在河北省昌黎县朱各庄镇下庄村的农田里,几十台播种机来回穿梭,将种子埋入土中。种植户们启动水泵,通过滴灌管道浇水。当天,冀北昌黎县供电公司朱各庄镇供电所员工王伟和孙奉江来到下庄村,巡检排灌变压器及10千伏灌溉用电线路。下庄村有农田7300多亩,主要种植玉米、花生、白薯等农作物。
国家电网有限公司高质量发展工作会议暨2024年第二季度工作会议提出,坚持问题导向和系统观念,推动公司高质量发展和电网高质量发展。数字化智能化是电网高质量发展的支点,要聚焦应用赋能,聚焦新型电力系统建设,聚焦人工智能创新应用,发挥好数据要素价值。国家电网有限公司大数据中心认真贯彻落实会
4月7日,陕西省发展和改革委员会印发《陕西省培育千亿级化工材料产业创新集群行动计划》,其中提到,加强源头减碳、过程减碳、终端固碳,创建10个以上示范性绿色化工园区、绿色工厂,开展绿色化工产品认证,推进化工材料产业绿色制造体系不断完善。二是提升产业数字化智能化水平。并且,加快5G、大数据
4月8日,记者从国网浙江电力获悉,该公司打造的“浙江省新能源e平台”上线运行。这一平台全量接入了浙江省风、光、水、生物质能等全品类新能源数据,能够动态监测分析全省新能源装机发电情况,解构全省各品类新能源运行趋势,助力浙江新能源消纳与高质量发展。“浙江省新能源e平台”主要包含一屏总览、
据国网浙江省电力有限公司4月8日消息,当日“浙江省新能源e平台”正式上线运行。该平台全量接入了浙江省风、光、水、生物质能等全品类新能源数据,能够动态监测分析该省新能源装机发电情况,解构各品类新能源运行趋势,助力浙江新能源消纳与高质量发展。据了解,“浙江省新能源e平台”主要包含一屏总览
4月2日,国网天津经研院规划评审中心支撑数字化部完成“基于能源电力大数据的天津碳排放监测及运营服务科技示范工程”工作方案的编制。该工程是国家电网公司首批新型电力系统原创技术策源地科技示范工程,将充分释放电力大数据价值,在多源能源数据汇聚融合、碳监测标准建设、碳核算体系构建、新兴业务
当前,随着新一轮科技革命和产业变革的持续推进,大力培育新兴产业和未来产业已成为引领科技进步、带动产业升级、培育新质生产力的战略选择。电力是经济社会发展的重要支撑。国家电网有限公司持续优化电力营商环境,加快构建新型电力系统,积极促进新能源发展,壮大产业集群,为新兴产业和未来产业发展
4月24日,国网天津电科院与河北区科技局开展天津市电力物联网重点实验室建设交流活动。河北区科技局调研组深入电科院电力人工智能实验平台、省级输电管控中心、电网材料性能检测平台等参观考察,了解各平台实验能力和业务开展情况。电科院实验室人员展示了机械臂带电更换绝缘子、输电通道监拍、一次设
4月15日,全国首个基于电鸿物联操作系统(以下简称“电力鸿蒙OS”)的输电智能运维场景在广东电网公司广州供电局500千伏从木丙丁线、110千伏科尖加石迁线等线路建成,这是“电力鸿蒙OS”发布以来首次在输电专业设备运维场景的工程化实践。输电线路及杆塔作为智能运维应用的重要场景,存在智能装备硬件种
近日,由国网区块链应用技术实验室建设运营的源网荷储数碳协同互动交易服务平台——“交易云”上线了绿电聚合、绿证聚合、电价预测、电碳抵扣等功能。实验室将依托该平台探索开展分布式绿证核发和交易代理,撮合各方主体开展绿证交易,推动分布式绿电聚合交易,助力提升可再生能源消纳能力。为贯彻落实
承接北京非首都功能疏解实现突破,高端高新产业加快落地,重大工程全面推进,现代化城市初具规模……七年奋斗,未来之城拔节生长。服务支撑高标准的城市规划蓝图变为高质量的城市发展现实画卷,一张世界一流电网与这座举世瞩目的城市共同成长。向上生长,星夜兼程,春日的雄安新区生机勃发。七年间,从
3月18日,市场监管总局会同中央网信办、国家发展改革委等18部门联合印发《贯彻实施〈国家标准化发展纲要〉行动计划(2024—2025年)》(以下简称《行动计划》),就2024年至2025年贯彻实施《国家标准化发展纲要》(以下简称《纲要》)提出具体任务,要求各地区各部门结合实际认真贯彻落实。2021年,党
2月20日,国网河南省电力公司组织新型电力系统配电物联领域标准宣贯培训交流活动,提升基层一线标准应用成效和标准化工作水平,助力配电网供电能力提升等工作高质量开展。近年来,国网河南电力建立健全科技搭台、专业主导、基层支撑、产业协作的四方协同科研体系,推进技术标准体系与科技创新体系紧密
据美国能源信息署发布的报告,过去几年与美国加密货币采矿业务相关的电力需求增长非常迅速。初步估计表明,加密货币挖矿的年用电量可能占美国用电量的0.6%至2.3%。(文章来源微信公众号:国际能源小数据ID:gh_fcc26c741888)这种额外的用电量引起了政策制定者和电网规划者的注意,担心其对电力成本、
“了解设备运行情况必须要到线路、进行设备调试必须要计划停电的时代一去不复返了!”内蒙古电力集团乌兰察布供电公司工作人员乔斌强在配电自动化实验室,一边操作设备,一边信心十足介绍着。1月17日,蒙西地区首个配电自动化实验室在乌兰察布建成投运。该实验室由监控区、调试区、仿真区三个区域组成
近日,庆阳市人民政府办公室发布了关于国家数据中心集群(甘肃·庆阳)“东数西算”产业园区数据中心建设指南的通知。庆阳市人民政府办公室关于国家数据中心集群(甘肃·庆阳)“东数西算”产业园区数据中心建设指南的通知各县(区)人民政府,市政府各部门,市管工业园区(集中区)管委会,中、省驻庆
广东省培育半导体及集成电路战略性新兴产业集群行动计划(2023-2025年)为贯彻省委、省政府关于推进制造强省建设的工作部署,加快培育半导体及集成电路战略性新兴产业集群,促进产业迈向全球价值链高端,依据《广东省人民政府关于培育发展战略性支柱产业集群和战略性新兴产业集群的意见》(粤府函〔202
#tabs1.swiper-container{height:500px;overflow:hidden;}#tabs2.swiper-container{height:450px;overflow:hidden;}#tabs3.swiper-slide{float:left!important;}.lmNav{width:100%;height:100px;box-shadow:05px15px0rgba(10,76,181,0.20);text-align:center;border-bottom:1pxsolid#D6DFEA;}.lmNavu
实现高水平科技自立自强,是中国式现代化建设的关键。国家电网有限公司第四届职工代表大会第四次会议暨2024年工作会议提出,要强化核心技术攻关,加快发展新质生产力;发挥新型举国体制优势,提升产业链供应链韧性和控制力;深化完善科研管理机制,不断激发全要素活力。中国电力科学研究院有限公司将全
国网信通1月17日晚间发布2023年度业绩快报,营业收入约80.39亿元,同比增加5.57%;归属于上市公司股东的净利润约8.36亿元,同比增加4.29%;基本每股收益0.7元,同比增加4.48%。报告期内,公司实现营业总收入803,893.61万元,较上年同期增长5.57%;营业利润87,687.51万元,较上年同期下降1.48%,主要因为
近日,由广东电网公司佛山供电局试验所自主研发的“基于智能传感技术的变电设备状态全面感知及主动分析系统”投入应用。该系统以智能传感技术为基础,实现了对变电站全站设备的全方位感知和智能检测,显著提升了设备状态检测的数字化、智能化水平。随着电网规模的大幅增长,运维工作愈加复杂,依靠人力
北极星输配电网获悉,日前,汾阳市人民政府发布关于印发《汾阳市推进气象高质量发展的实施方案》(以下简称《方案》)的通知。《方案》指出,强化气候资源合理开发利用。推进风能、太阳能等新能源开发利用气象服务能力建设,为风电场、光伏电站等规划、建设、运行、调度提供全链条气象服务。充分挖掘宜
导读:近日,四平市人民政府印发了《四平市能源发展“十四五”规划》。四平市“十四五”时期经济社会发展形势将发生深刻变化,新型工业化仍然是一个长期且紧迫的战略任务,能源发展要与之相匹配。全方位打造坚强智能电网。建设主网与配网、城网与农网、电网与电源协调发展的坚强智能电网,提升电网信息
1月28日,河北石家庄供电公司员工通过配网网络化下令平台,一键下达了10千伏华明二线检修指令。现场人员通过移动终端“i国网”APP接收指令并完成相应手续,整个流程准确、迅速,无需人工对话,用时仅40秒。这是该公司首次实施配网调度“网络化下令”。配网网络化下令平台通过信息互联,构建了集“网络
12月17日,江苏省南京市人民政府发布关于印发《南京市推动先进制造业和现代服务业深度融合发展示范行动实施方案》的通知。方案中提到,推动智能电网向应用领域拓展融合。加快推进云计算、大数据、通信、储能技术在智能电网领域的融合创新和应用,推动智能电网向信息通信、传感测量、自动化控制、分布式
3月29日,天津市人民政府印发关于《天津市加快建立健全绿色低碳循环发展经济体系实施方案》(以下简称《方案》)的通知。方案中提出推动能源体系绿色低碳转型。完善能源消费总量和强度双控制度,持续推进节能、提高能效。坚持集中式和分布式并重,大力发展风能、太阳能,扩大非化石能源电力装机规模。
近日,天津发改委印发《天津市能源发展“十四五”规划》。“十四五”天津能源发展的主要任务围绕“补短、强弱、升级、奠基、惠民”,确定了七方面共二十三项重点任务。一是构建多元安全保障体系。大力拓展优质煤源,积极畅通运煤通道,优化煤炭资源供应;扩大油气资源勘探开发,稳定天然气供应渠道,强
6月8日,随着最后一组电力业务终端在线率测试完成,国网信通产业集团有限公司完成了5G全频段电力典型业务应用测试,为5G技术在电力领域的示范应用奠定了基础。此次测试由国网信通产业集团联合中国信息通信研究院、北京邮电大学、中国移动、爱立信、大唐移动等单位开展,完成了电力控制类、采集类、移动
上证报记者从国网电网有限公司(下称国网公司)获悉,近期国网公司信息化建设招投标工作又重新趋于活跃。业内专家认为,从硬件到软件是电网升级的必然需求,国网公司近日首度将加快信息化作为重点方向纳入国网公司“新基建”范畴,预计该领域年内投资额有望较去年翻倍至250亿元。今年初,国网公司高层
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!