登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。
先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,皇帝每晚翻嫔妃的牌子也是数据处理,在翻牌子之前,要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标;更近的说,数据仓库早在大数据这个词出现前就已经成熟发展了好几十年了。所以说,大数据并不新鲜,只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段,顺应这些技术炒出来的概念,但是这些概念都基于一个基本的理念“开源”,这个理念是之前任何阶段都没有过,可以节省费用提高效率,所以大家才都往这个行业里扔火柴(话说现在很多人跟风乱吵,个人认为也不是坏事)。
误区一:只有搞大数据技术开发的,才是真正“圈内人”。
笔者曾经参加过若干会议,70%是偏技术的,在场的都是国内各个数据相关项目经理和技术带头人,大家讨论的话题都是在升级CDH版本的时候有什么问题,在处理Hive作业的时候哪种方式更好,在Storm、Kafka匹配时如何效率更高,在Spark应用时内存如何释放这些问题。参会者都一个态度:不懂大数据技术的人没资格评论大数据,您要不懂Hadoop 2.0中的资源配置,不懂Spark在内存的驻留时间调优,不懂Kafka采集就别参加这个会!对了,最近Google完全抛弃MR只用Dataflow了,您懂吗?
在这里我想说,技术的进步都是由业务驱动的,某宝去了IOE才能叫大数据吗,我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人,用什么按摩手法进行全流程治疗,就不叫大数据分析了吗?技术发展到什么程度,只有一小部分是由科学家追求极致的精神驱动,大部分原因是因为业务发展到一定程度,要求技术必须做出进步才能达成目标的。
所以,真正的大数据“圈内人”至少要包含以下几种人:
一、业务运营人员。比如互联网的产品经理要求技术人员,必须在用户到达网站的时候就算出他今天的心情指数,而且要实现动态监测,这时候只能用Storm或者Spark来处理了;比如电信运营商要求做到实时营销,用户进入营业厅的时候,必须马上推送短信给用户,提示他本营业厅有一个特别适合他的相亲对象(呈现身高、三围、体重等指标),但是见面前要先购买4G手机;再比如病人来到银行开户,银行了解到用户最近1周曾经去医院门诊过两次,出国旅游过3次,带孩子游泳两次,马上客户经理就给客户推荐相关的银行保险+理财产品。这些业务人员,往往是驱动技术进步的核心原因。
二、架构师。架构师有多么重要,当一个业务人员和一个工程师,一个说着业务语言,一个说着技术术语在那里讨论问题的时候,工程师往往想着用什么样的代码能马上让他闭嘴,而架构师往往会跳出来说“不,不能那样,你这样写只能解决一个问题并且会制造后续的若干问题,按照我这个方案来,可以解决后续的若干问题!”一个非技术企业的IT系统水平,往往有70%以上的标准掌握在架构设计人员手里,尽快很多优秀的架构师都是从工程师慢慢发展学习而来的,IT架构的重要性,很多企业都意识到了,这就是很多企业有CTO和CIO两个职位,同样重要!架构之美,当IT系统平稳运行的时候没人能感受到,但是在一个烟囱林立、架构混乱的环境中走过的人眼中,IT开发一定要架构现行,开发在后!
三、投资人。老板,不用说了,老板给你吃穿,你给老板卖命,天生的基础资料提供者,老板说要有山便有了山,老板说要做实时数据处理分析,便有了Storm,老板说要做开源,便有了Hadoop,老板还说要做迭代挖掘,便有了Spark……
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
6月5日,宁夏银川市人民政府办公室关于印发《银川高新区高质量发展实施方案(2025—2027年)》的通知。文件指出,积极招引动力电池、风机叶片、光伏组件等“新三样”及算力服务器等拆解回收利用项目,鼓励发展“互联网+回收”模式,强化全链条数字化监管,推进循环经济产业与合规化、标准化服务体系深
在推进新能源占比不断提升的新型电力系统构建进程中,煤电正经历着历史性的角色嬗变。今年,国家发展改革委、国家能源局联合印发《新一代煤电升级专项行动实施方案(2025#x2014;2027年)》(以下简称《实施方案》),新一代煤电升级专项行动正式启动,旨在推动传统煤电向“清洁降碳、安全可靠、高效调
北极星电力网获悉,五大发电“旗舰”上市公司——华能国际、华电国际、大唐发电、国电电力、中国电力2024年报,披露了未来的发展战略及经营计划。整理如下:华能国际》》》》》一、发展战略华能国际全面贯彻“创新、协调、绿色、开放、共享”的新发展理念,坚持以质量效益为中心,统筹能源安全和绿色发
近日,《广东省促进海洋经济高质量发展条例》已由广东省第十四届人民代表大会常务委员会第十八次会议于2025年5月28日通过,现予公布,自2025年7月1日起施行。文件指出,省、地级以上市人民政府能源等有关主管部门应当加大海洋油气资源勘探开发力度,推进液化天然气等接收及储气设施、配套码头和配套外
为贯彻落实国家能源局《2025年能源工作指导意见》关于“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”的要求,经省发展改革委、省能源局、浙江能源监管办同意,浙江电力市场管理委员会发布了《浙江省虚拟电厂运营管理实施细则(试行)》(以下简称“细则”),对虚拟电厂主体注册、能力认证、变
6月3日,国家发展改革委国家能源局发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定提升措施,促进配电网与分布式新能源协调发展。
北极星售电网获悉,6月3日,国家发展改革委发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见(发改能源规〔2025〕624号)。文件明确,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定
6月3日,国家能源局关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见发布。文件提到,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范围。合理压减承装(
北极星售电网获悉,6月3日,国家能源局发布关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见。文件明确,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范
编者按“双碳”战略的实施加速了分布式能源在配电网中的接入,导致配电网运行特性发生深刻变化。同时,分布式能源的不确定性削弱了配电网的实时可观性,难以精准监测其运行状态,由此引发的过载、过压和供电质量下降等问题已严重威胁配电网的安全性和稳定性。传统配电网状态估计方法依赖全面、精确的量
一场“智”与“能”的双向奔赴回顾历史,整个人类文明进程始终与能源开发利用紧密相关。如今,能源发展进入资源、环境、气候三重约束期,急需沿着清洁低碳方向进行转型。与此同时,人工智能技术正在蓬勃兴起,加速赋智于千行百业,“‘人工智能+’行动”的字眼更是连续两年见诸全国两会政府工作报告,A
近年来,随着新型电力系统和电力市场建设加快推进,虚拟电厂作为电力系统新业态、新模式,作用日益显著,需求日益增长,发展条件日益成熟。在上海,一场“虚拟电厂”的能源革命正加速从蓝图走向现实。虚拟电厂成“智慧管家”“虚拟电厂,顾名思义,它并没有实体,而是一个零散电力资源的‘智慧聚合系统
行业痛点直击:政策转变下,你的光储资产如何破局?394号文全面落地,新型储能如何抓住电力交易与辅助服务红利?136号文明确指引,数字化智能化如何成为资产收益核心引擎?行业困局待解:电站巡检运维效率低、光储充用系统数据孤岛严重、项目收益率波动大、绿电消纳与增值服务难落地……当政策机遇与技
6月5日,宁夏银川市人民政府办公室关于印发《银川高新区高质量发展实施方案(2025—2027年)》的通知。文件指出,积极招引动力电池、风机叶片、光伏组件等“新三样”及算力服务器等拆解回收利用项目,鼓励发展“互联网+回收”模式,强化全链条数字化监管,推进循环经济产业与合规化、标准化服务体系深
在推进新能源占比不断提升的新型电力系统构建进程中,煤电正经历着历史性的角色嬗变。今年,国家发展改革委、国家能源局联合印发《新一代煤电升级专项行动实施方案(2025#x2014;2027年)》(以下简称《实施方案》),新一代煤电升级专项行动正式启动,旨在推动传统煤电向“清洁降碳、安全可靠、高效调
在当代建筑与能源转型的交汇点上,一种兼具功能与美学的解决方案正悄然重塑高端住宅的屋顶轮廓。LONGieHomeM7系列光伏瓦的出现,不仅打破了传统光伏板与建筑生硬结合的桎梏,更将清洁能源发电、建材属性与设计美学融为一体,成为别墅屋顶的奢侈品级选择。这种创新并非简单的技术叠加,而是对建筑材料的
近日,由开放原子开源基金会开源鸿蒙社区发起的开源鸿蒙开发者大会2025在深圳举行。南方电网公司相关部门负责人出席大会,与开放原子开源基金会、华为公司等科技领军企业、生态技术专家、开发者共同见证开源鸿蒙5.1Release版本发布,共同展望开源鸿蒙技术新前景。在大会主论坛环节,南网数字集团相关负
10月20日—22日,全球风电盛会——2025北京国际风能大会暨展览会(CWP2025)将在北京·中国国际展览中心(顺义馆)举办,洛阳轴承集团股份有限公司(以下简称“洛轴”)将盛装亮相CWP,展位号:E3-A05。洛阳轴承集团股份有限公司是一家综合性轴承制造企业,产品广泛应用于航空航天、风力发电、轨道交通
近日,《广东省促进海洋经济高质量发展条例》已由广东省第十四届人民代表大会常务委员会第十八次会议于2025年5月28日通过,现予公布,自2025年7月1日起施行。文件指出,省、地级以上市人民政府能源等有关主管部门应当加大海洋油气资源勘探开发力度,推进液化天然气等接收及储气设施、配套码头和配套外
北极星储能网获悉,5月30日,重庆铜梁区发布2025发展机会清单,涉及产业发展、资产运营、基础设施等领域的74个优质项目,总投资规模752亿元。在产业发展领域,铜梁重点布局了新型储能、智能网联新能源汽车零部件和摩托车、电子信息及智能制造等战略性新兴产业,此次发布了27个项目,总投资446亿元。其
一场“智”与“能”的双向奔赴回顾历史,整个人类文明进程始终与能源开发利用紧密相关。如今,能源发展进入资源、环境、气候三重约束期,急需沿着清洁低碳方向进行转型。与此同时,人工智能技术正在蓬勃兴起,加速赋智于千行百业,“‘人工智能+’行动”的字眼更是连续两年见诸全国两会政府工作报告,A
北极星储能网讯:5月27日,工信部、国家发改委、国家数据局联合发布《电子信息制造业数字化转型实施方案》。其中提出:面向光伏、锂电池、新型储能等细分领域,培育推广智能工艺分析、冷却循环系统监控、快速精准温控、高精度到位检测、电机状态预测性维护、智能仓储物流、智能光储一体化系统、智能组
5月16日获悉,国网河北省电力有限公司研发的光储充一体化智能控制装置在石家庄、邢台、保定等地完成示范应用,累计有超2万户光储充客户安装使用。据介绍,该装置采用自适应接入引擎技术,内嵌兼容120余种设备型号的通信协议库,实现各设备厂商私有协议与电网标准协议间的实时转换;集成5种主流通信接口
实现高水平科技自立自强,是中国式现代化建设的关键。国家电网有限公司第四届职工代表大会第四次会议暨2024年工作会议提出,要强化核心技术攻关,加快发展新质生产力;发挥新型举国体制优势,提升产业链供应链韧性和控制力;深化完善科研管理机制,不断激发全要素活力。中国电力科学研究院有限公司将全
国网信通1月17日晚间发布2023年度业绩快报,营业收入约80.39亿元,同比增加5.57%;归属于上市公司股东的净利润约8.36亿元,同比增加4.29%;基本每股收益0.7元,同比增加4.48%。报告期内,公司实现营业总收入803,893.61万元,较上年同期增长5.57%;营业利润87,687.51万元,较上年同期下降1.48%,主要因为
北极星输配电网获悉,11月4日,通辽市人民政府办公室发布关于印发《通辽市推动城乡建设绿色发展实施方案》(以下简称《方案》)的通知。《方案》指出,加快城乡能源基础设施建设。推进城镇配电网升级改造,推广智能化配电设备和数字化应用,在具备条件的工业园区内支持局域电网和增量配电网建设。以适
近日,由广东电网公司佛山供电局试验所自主研发的“基于智能传感技术的变电设备状态全面感知及主动分析系统”投入应用。该系统以智能传感技术为基础,实现了对变电站全站设备的全方位感知和智能检测,显著提升了设备状态检测的数字化、智能化水平。随着电网规模的大幅增长,运维工作愈加复杂,依靠人力
北极星输配电网获悉,日前,汾阳市人民政府发布关于印发《汾阳市推进气象高质量发展的实施方案》(以下简称《方案》)的通知。《方案》指出,强化气候资源合理开发利用。推进风能、太阳能等新能源开发利用气象服务能力建设,为风电场、光伏电站等规划、建设、运行、调度提供全链条气象服务。充分挖掘宜
北极星输配电网获悉,近日威胜信息发布2022年业绩报告。2022年度,威胜信息实现营业收入20.04亿元,较上年同期增长9.75%;实现归属于上市公司股东的净利润4.00亿元,较上年同期增长17.20%;实现归属于上市公司股东的扣除非经常性损益的净利润3.87亿元,较上年同期增长23.81%。2022年,公司持续稳健经营
导读:近日,四平市人民政府印发了《四平市能源发展“十四五”规划》。四平市“十四五”时期经济社会发展形势将发生深刻变化,新型工业化仍然是一个长期且紧迫的战略任务,能源发展要与之相匹配。全方位打造坚强智能电网。建设主网与配网、城网与农网、电网与电源协调发展的坚强智能电网,提升电网信息
1月28日,河北石家庄供电公司员工通过配网网络化下令平台,一键下达了10千伏华明二线检修指令。现场人员通过移动终端“i国网”APP接收指令并完成相应手续,整个流程准确、迅速,无需人工对话,用时仅40秒。这是该公司首次实施配网调度“网络化下令”。配网网络化下令平台通过信息互联,构建了集“网络
12月17日,江苏省南京市人民政府发布关于印发《南京市推动先进制造业和现代服务业深度融合发展示范行动实施方案》的通知。方案中提到,推动智能电网向应用领域拓展融合。加快推进云计算、大数据、通信、储能技术在智能电网领域的融合创新和应用,推动智能电网向信息通信、传感测量、自动化控制、分布式
日前,南京市人民政府办公厅关于印发南京市推动先进制造业和现代服务业深度融合发展示范行动实施方案的通知,通知指出,加强新能源生产使用和制造业绿色融合,推进太阳能、氢能等新能源生产服务与设备制造协同发展,推广智能发电、智慧用能设备系统,完善氢能制备、储运、加注等设施和服务。原文如下:
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!