当前位置:首页 期刊杂志

大数据还是小数据?(1)

时间:2024-05-20

刘鹏

人有“高”“矮”之分,数据也有“大”“小”之别,在企业进行数字化转型中,“大数据”与“小数据”哪个才是优选正解?

在数字经济时代,数据成为媲美石油的新能源,建立数据思维,通过数据共享与数据挖掘,赋能各行各业已经成为普遍共识。毫不夸张地说,拥有数据才有话语权,“用数据说话”必将成为未来社会的基本规则。人有“高”“矮”之分,数据也有“大”“小”之别,在企业进行数字化转型中,“大数据”与“小数据”哪个才是优选正解?

预测未来的大数据,以人为本的小数据

在人们的认知范围内,耳熟能详的“大数据”似乎更为亲切些。对于“大数据”,美国权威研究机构Gartner曾这样描述:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”的最大价值并不在于数据本身,而是那些通过数据挖掘与分析,加工而來的数据信息,它们能够实现数据“增值”,帮助预测未来趋势。

相较于“大数据”,“小数据”虽然不是“大数据”的小型化,但确实数据量较小,可以看作是大数据的补充与延伸。对于“小数据”的具体定义,目前暂无定论,有人认为它是基于抽样调查技术而来的“样本数据”,有人则认为它是以人为本的“个体数据”。在这里,我们更倾向于第二种解读。比如运动手环、智能手表、阅读推荐、消费分析等涉及的数据都可以看作是典型的“小数据”。

一直以来,美国康奈尔大学的德波哈尔·艾斯汀教授(Deborah Estrin)都被看作是察觉“小数据”及其价值的第一人,在其父亲去世前的几个月,虽然体检的各项医学指标并未显示异常,但是通过分析一些个体化的“小数据”,比如“买菜不那么勤了”、“邮件不爱发了”、“散步也越来越懒得去了”等,已经显示老人的生命体征在逐渐衰弱。

从对象范围来看,大数据主要对事物、行业等进行分析与挖掘应用,侧重于广度,帮助我们简化对世界的认知,同时根据已有的整体信息进行大局预测;而小数据则更多以具体的“个人”作为核心,侧重于深度,通过建立“量化的自我”为个人决策与发展提供参考。

大数据思维,小数据落地

虽然大数据与小数据都注重对数据进行分析,但大数据更多强调总体和大致规律,小数据则关注个体行为与事实,能够更为精准地呈现需求。虽然目前处于“言必称大数据”的时代,但不得不承认,充分利用大数据并没有那么简单,因为这不仅需要具备大数据本身,同时还要有大数据思维及大数据技术,任意一条的缺失都将成为大数据普及的阻碍。此外,虽然大数据可以整合量化的数据节点,描绘出完整的“数据画像”,但是不少大数据应用仍然停留在标签化的层面,忽略了个体的差异。

在马陵之战中,孙膑洞悉庞涓善于数据分析,制造“第一天10万灶,第二天5万灶,第三天只剩3万灶”的减灶假象迷惑对方,从而诱敌深入,一举击败庞涓及其率领的魏军。在这里,庞涓虽然注意到了“灶”这一大数据,却忽视了脚印等小数据分析,导致惨败,小数据细节的重要性也由此可见。

在《数据人类学》中,作者托马斯·克伦普直言:“数据的本质是人。数据产生于人类社会的各种活动,其价值也在于服务人类社会,让生活变得更加美好。”为此,以人为本的“小数据”似乎才是未来数据的发力点与落脚点。但是,大数据并非一无是处,小数据也并非完美无缺,在数据长河中,大数据与小数据是相辅相成的存在,充分结合二者才能熠熠生辉。数据拥有者不应热衷于追逐概念,而应以实际问题为准,精准定位碰到的数据业务场景。

对于企业而言,首先需要建设开放、共享的大数据平台,收集数据和进行分析挖掘,并进行大数据平台的整合,基于此为个人建立小数据库以及数据画像,提供个性化服务。具体到现实应用中,从市场开发到业务需求,再到数据沉淀,这是遵循先后顺序的完整流程,三者注定无法保持一致步调。甚至不得不承认,通常企业的应用开发速度远超过数据开发速度,继而带来了开发效率、团队协作等问题。对此,通过搭建可复用的“数据服务工厂”,进一步加快数据开发进程。

早前,华为就曾提出“平台炮火支撑精兵作战”战略。在业务开展中,构建应对未来风险和变化能力的基础与平台,抓住大数据思维与小数据场景,充分发挥大平台的集成性与灵活性,一旦确定目标,即通过大平台的“炮火群”,给予精准有效的支援,迅速响应瞬息万变的战场,“让听得到炮声的人能呼唤到炮火”。

值得一提的是,由此生成的各项客户服务始终与企业业务息息相关,可以说是企业业务和数据的沉淀,为该企业独有且能复用,大大降低了重复建设的成本,通过协同控制和协作,进一步提升了企业的差异化竞争优势。

建立数据中台,打通数据壁垒

那么在企业转型发展中,如何应用大数据与小数据,推动有价值的业务场景落地?“数据中台”成为了频繁提及的概念。

“数据中台”首先由阿里巴巴提出,近两年来受到互联网行业巨头的广泛青睐。阿里巴巴应用该“中间件”打通了淘宝和天猫的交易、支付等数据与服务;美团正在尝试打通美团、大众点评、摩拜等平台,构建数据中台;同时,字节跳动整合抖音、西瓜视频、火山小视频,正在构建“直播大中台”。

长期以来,企业的前台系统和后台系统犹如两个具有不同转速的轮子:前台既需要对前端用户做出快速响应,也需要实现创新迭代,所以转速越来越快;而后台对接后端资源,则因为系统与法律法规限制等,往往讲求稳定,速度自然较慢。

相较于前台和后台而言,数据中台是专门的数据层,搭建了连接前台和后台的桥梁,通过API的方式提供数据服务。从行业角度分析,可以将“数据中台”定义为“通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径的中间层。”在具体操作过程中,数据中台将数据统一起来,减少内耗,并打造为标准数据进行存储和分析,形成口径、标准统一,且具有时效性、可靠性、稳定性的大数据资产层,通过API为客户提供高性能、高安全性的各项服务。

以员工管理为例,目前大数据企业新员工入职后,往往会面对支离破碎的各种资料与代码,无法了解公司的发展现状与全貌,而部分未及时更新的资料甚至会给新员工造成困惑与误解;部分员工在办理离职手续后,相应工号对应的业务系统却还在正常使用,让管理者不知所措。对此,应用数据中台可以让员工管理变得更加容易:通过“基础模型”,新人能够快速而系统地获取企业的基础数据能力;通过“标签库”,新人可以充分应用前辈留下的智慧成果,包括可复用的代码结构等;通过“管理职能模块”,以统一账号打通各个独立系统的联系,及时知晓员工状态与动向。

在数据中台的建设中,一方面,需要统一管理与把控企业内部的工作和客户,维护内部数据,提升企业小数据利用率;另一方面,也需引入与调用外部大数据源,注重大数据关注的行业总体趋势。

在内部小数据管理方面,越来越多企业倾向于解放人工劳动,建立属于企业的管理系统,并通过数据挖掘与分析,进一步推动企业发展。比如,现在广受欢迎的WES工作效率系统与CDS客户拓展系统,都是基于以上逻辑思路设计开发而来。WES工作效率系统通过量化的项目管理,记录企业部门与员工每天/每周/每月的工作进度与工作效率,并以一目了然的图表予以呈现:管理者通过WES快速概览,根据优先级确定员工、部门以及项目的工作进展,把握公司动态,节约大量时间与精力。对于在外出差的商务人员,很多时候企业负责人无法掌握他们的工作进度,如果商务人员离职,企业还将面临客户资源被带走的巨大损失。CDS客户拓展系统可以帮助完整记录客户单位、联系方式、需求意向等信息,同时实现账号管理,即使市场人员离职,在回收的账号里完整保留了所有客户信息和跟踪进度,对于企业影响甚微。

此外,数据中台还需进一步调用外部的数据资源。比如阿里数据,在队内统一数据服务和数据产品的同时,对外开放阿里数据能力,赋能千万商家、中小企业、创业者以及社会大众。统一数据建设、管理、服务,以大数据的“水电煤”服务阿里外部千万用户和内部业务,每天被扫描的数据量相当于2000萬部高清电影。

在阿里数据之外,还有更多专注于细分领域的数据共享服务平台,如环境云作为环境大数据开放平台,通过大规模部建各类环境监测传感器广泛采集数据,同时集成第三方专业数据源发布的数据,推出了一系列功能丰富、便捷易用的综合环境数据REST API,为环境应用开发者提供丰富可靠的气象、环境、灾害以及地理数据服务。此外,环境云还提供了历史数据报表下载,并向公众展示环境实况。目前,环境云收录的环境数据已经远超9亿条。

免责声明

我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!