时间:2024-04-24
当大数据与人工智能时代即将到来之际,我们该如何拥抱时代?
6月11日,曾与屠呦呦等人一同当选“2015年度中国十大科技创新人物”的电子科技大学周涛教授,在西南财经大学召开了主题为“大数据与人工智能创新实践”的公开论坛。周涛教授以实操的大数据项目为例,为听众讲述了最前沿的大数据创新实践情况。以下内容经《商界评论》现场实录整理及其历史演讲补充。
在开始前,我想问大家的一个问题:什么是数据?
多数人认为,有了计算机之后才有数据,其实早在计算机之前我们就有了数据。
我们认为,數据就是将来可以为我们做定量分析的记录。它是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材。
在淘宝上,有大量的售卖记录,通过这些售卖记录我们能够知道,生活在成都的30岁左右的女性用什么化妆品,成都独特的天气情况使她所用的化妆品和其他省市的不一样,这是挖掘到的数据。
但是,有了这些数据不等于就具有价值,我们还要通过数字广告、个性化推荐等方式,帮助用户更快找到喜爱的商品,同时也帮助商家提高广告点击量和商品购买量,减少库存压力,这样才能产生价值。
现在我们已经站在了大数据时代的门口,其中一只脚已经跨了进去,并且有3种趋势在推动我们的发展:
一是数据总量的增长。
现在全世界数据存储量是20个ZB,再过8年这个数据量可能要增加10倍。
2018年底,淘宝的单品数首次超过了中国的人口数,单品数量达到了15亿之多。面对这15亿个单品,别说用户想逐个挑选,仅仅只是看一遍都很难,这种数据爆炸和普通人分辨数据能力的矛盾是大数据时代的第一个挑战。
因此,现在大量的商业模式都是为了解决这个矛盾,比如当当网推荐一本书,网易云音乐推荐一首歌,或者珍爱网推荐一个相亲对象。
二是数据形态发生了巨大变化。
以前我们处理的绝大部分数据都是表格类数据,现在绝大部分新增数据都是非结构化数据,包括认知、时间、序列、语音、文本、图像、空间轨迹、人与人之间的社交网络,这些数据背后蕴藏着巨大的价值。
手机是最大的个人传感器,仅仅利用手机的GPS轨迹数据,就可以定位用户具体位置,甚至锁定不超3立方米的空间范围。凭借这点,我们可以知道一个陌生人的家住在哪里,其是否在政府工作,经常在哪里吃饭,有没有去过高级会所等。
这些数据的保护在很多地方都不严密,除了手机运营商和通管局之外,许多手机应用上都有用户的全量轨迹数据,这带来了第二个挑战,就是在安全隐私可控的前提下如何挖掘这些非结构数据的价值。
三是数据的组织结构发生变化。
原来的数据都是孤岛,淘宝知道我买了什么货,新浪微博知道我说了什么话,门诊知道我得了什么病,公安部门知道我犯了什么罪,但是这些主体相互之间却不知道,淘宝不知道我得了什么病,新浪微博不知道我犯了什么罪。
把数据流动,从而围绕个人、企业、产品、终端、痛点全方位画像,这也带来了第三个挑战,就是如何发挥大数据1+1远大于2的价值。
当有一天我们真正进入到大数据时代,可以明显体会到数据的3大特征:
一是数据的外部化。数据有一个天然的共性,就是它能够流通共享,容易被拷贝,且几乎不需要其他成本。我们在A处产生的数据不仅能在A处发挥作用,还能在BCD处发挥作用。
二是人工智能。我们能够用到人工智能的关键技术,比如数据挖掘、机器学习等,去得到简单统计分析所得不到的洞见,再用这种深刻洞见来指导我们进行高效准确的决策。
三是价值。采集数据、存储管理、安全隐私控制都需要成本,大数据时代中,每花费100元就要产生200元以上的数据价值。
其中数据能够产生4个价值:支撑决策、优化生产、提升销售和改善生活。
接下来我们通过2个大数据应用的实践案例,来看看目前数据能为我们产生哪些价值。
第一,基于大数据的机器学习在餐饮业的应用。
现在的网络餐饮服务存在大量的食品安全问题,比如用户在某网络订餐平台的餐饮店A订餐,而实际制作食物的并不是A店,而是一家黑作坊,没有店面,更没有证照,存在严重的食品安全问题。
为了解决这个问题,我们用机器学习的方式,制定了网络餐饮服务的监管办法,主要解决两大问题。
1. 我们要对网络餐饮店的证照进行分析,针对这个问题首先要判断餐饮店有没有上传证照,随时监控哪些餐饮店是没有上传的,并把它清理出来。
然后,识别证照不清晰、假证、一证多用、证件和工商注册不匹配、跨范围经营的餐饮店。通过机器学习,计算机能够自动迅速、准确地识别出这些有问题的餐饮店。
基于这一步,我们发现成都市不合格的网络餐饮店大概占70%,通过持续监测和整改,把不合格率降到了30%。
2. 我们要解决的根本问题是要老百姓吃到放心安全的食品。
我们获取餐饮店的消费者评论的数据,并且把当中和食品安全强相关的数据来指导机器学习,进而对餐饮店进行监测。
如果监测到某餐饮店有大量的有关食品安全的评价,比如有蟑螂、老鼠、吃了拉肚子等,那么这家店就肯定有问题。
第二,大数据在工业领域的应用。
全球工业4.0大概经历4个阶段,从机械化到自动化到信息化再到智能化。在未来会形成智能工厂,就等于一个智能中台,可以分成可视化层、执行层、工业大数据层、设备局连接层。
刀具加工工艺(如铣、削、钻)在汽车、飞机和模具制造中应用广泛。如富士康,每年用在刀具上大概150亿元。这种背景下,刀具何时失效,如何判定成为降低企业成本的大问题。
刀具在加工过程中随着加工时间的增加,自身的磨损程度也随之增加。当磨损量达到一定程度时,甚至还会出现断刀、崩边等严重磨损现象,进而导致刀具失效。在缺乏有效的刀具磨损监控、预测方法时,刀具磨损不但会增加生产产品的次品率,同时也会给安全生产造成隐患。
目前大多数刀具供应商对生产出的刀具寿命进行如下估计:对刀具进行压力测试,测出刀具平均极限寿命,在此极限寿命基础之上,一般按照80%比例折算成刀具寿命。
如果使用单位依照刀具供应商提供的建议进行刀具管理,每把刀将损失约20%的寿命。
再加上测试环境的不同,刀具供应商提供的刀具寿命还会进一步受到实际工况的影响,其参考性进一步降低。
我们在数控机床的电缆上加一个霍尔传感器,利用霍尔效率来测微电流,电流信号经数据采集器(DAQ)传送至工控机。
有条件的情况下,可以通过高速摄像头采集刀具的图像信号;通过数控机床自带或侵入式的传感设备,采集压力、振动、热度、声音等其他信息。
工控机持续不断地接收来自数据采集器的电流信号,能够对不同机床的实时信号进行监控、分析和预测,并在必要时发出报警信号或其他辅助信号,如向自动换刀系统发送换刀信号。
以常州某科技公司为例,其近千台机床制造手机壳,每台机床每年消耗5 000把铣削刀具,每年累计消耗近500万把。我们通过检测铣削电流的稀疏贝叶斯学习,对每把铣刀的寿命进行预测,每年可为其节省约1亿元。
未来许多岗位或许会被机器人取代,比如法务工作人员、会计师、检验科医生等。
这些工作理论上都可借助机器的深度学习算法完成,但要完全实现却没有理论上这么简单。
现在大家看到很多工业大数据,实际上只是做了一些信息化的统计展示,并不是真正意义上的数据化。我们现在很多数据工厂项目都没有太大的实际价值,无法为工业、生产提供实际性效率提升,还处于初级阶段。未来下一步就是怎么再往前走一步,提高生产效率,把产品做好。
对于金融行业来说也是如此,我们要深化金融改革,加强金融监管,科学防范风险,管理好3大系统:
1. 信用。首先,建立信用体系。没有信用记录的企业和项目,用自动化大数据的方式建立可靠的金融记录。
其次,交叉验证。有信用记录的企业和项目,利用智能化的建模方式进行交叉验证、自动化、非人工地验证信用质量。
2. 风险。传统风控的痛点是:成本高、静态化、主观判断。
金融的核心风险是:信用风险、市场风险、操作风险。
而信用风险管理能力、信用风险成本是影响资产价格和利率的基础。
3. 共識。金融风险的管理框架未来可以视作一种基础设施,形成国际化的信用共识。我们要做到自动化的信息采集与资产质量评估、全息化的企业和项目画像、动态的企业信用评价。
比如我们跟贵阳银行合作项目——贵烟贷,在掌握市场进销存数据的基础上,对供应链做整体把控,通过风险控制降低坏账率,更是一年之内让贵阳本地经销商的拿货量提高9%。
并且金融机构还可以通过数据检测来评估企业的经营状况。
假如申请信贷的企业是一家设备厂商,单纯看市占率、营收规模无法全面评估信贷风险。我们可以通过招聘网站上企业的招聘规模缩减,公司员工是否大规模更新简历,是否有行政处罚,招投标成功率等企业行为数据分析,政府数据分析,银行征信数据分析等,进行综合考量。
我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!