- 收藏
- 加入书签
大数据时代下统计学学科的变革与发展
摘要:物联网、大数据等现代技术的不断涌现,为社会各领域的发展提供前所未有的技术支撑。大数据技术工作已成为各领域新增的一项新型工作,统计学作为一门研究数据收集、整理与分析的学科,也需要紧跟时代步伐进行变革。本文基于如上背景,首先,探讨大数据时代对统计学学科产生的影响,从计算方法、学科内容等方面进行分析;其次,结合现实状况研究统计学学科变革存在的困境,主要表现为统计软件和方法的滞后、收集来源的限制、数据类型多元化增加价值挖掘的难度及样本选取难度的增加等;再次,从软件和方法的更新、拓展数据收集来源、强化学科思维建设采用多元思维选取样本提出学科变革的思路;最后,结合实际案例,探讨经济领域数据和商业领域数据的运用,旨在为新时代下统计学学科变革和发展提供参考思路和建议。
关键词:大数据;统计学;变革
伴随着信息技术的快速发展,传统纸质时代已逐渐向大数据时代过渡,新型时代环境下,数据处理、分析的技术与方法得以变革与发展,统计学学科作为搜集、整理、分析数据并推测数据本质及意义的一门学科,面对大数据时代,需主动调整学科理念,明确大数据时代下学科变革的困境,重新制定发展思路,以此适应大数据时代对学科提出的新要求。
一、大数据时代对统计学学科产生的影响
(一)统计学计算方法
传统形式下,统计学计算方法的实践应用借助于一台计算机和已储存的数据,运用方差、回归、统计学检测等相关统计方法对数据进行处理,以达到数据统计的目的。随着大数据时代的到来,统计学所采用的计算方法以及数据储存的模式均发生改变,需依托于大数据技术,将海量数据进行大范围的收集和分析,实现多台计算机联动的效果,由传统的单一存储设备数据分析转变为多个存储设备数据分析。
(二)统计学学科内容
1.数据预处理
大数据时代下,数据已成为人们工作生活的一部分,数据的应用范围和领域逐渐扩大,人们获取数据的方式也更为多样化。因此,统计学作为一门数据处理与分析的专门学科,数据处理技术的新时代下的重要性日益突显。为了提高数据准确性与有效性,数据处理需经历三步,分别是数据清洗、不完善数据的填补和纠正。如上技术处理过程中,数据纠正环节应采用统计学学科中的随机抽样调查方法。同时,仍需运用该学科的其他计算方法,为数据库进行及时的更新,使得数据的预处理得到科学技术支撑与学科保障。
2.数据抽样环境
进入大数据时代,支持样本的数据的抽样范围将发生一定变化,即由传统调查所有的数据调整为调查一定范围内的数据。为了不影响抽样结果,需采用统计学中的随机抽取混合数据样本的方法,抽取代表性较强的数据,以此实现抽取数据的准确性、有效性。另外,在数据收集过程中,由于数据涉及范围较广,收集存在一定的难度,而且缺少统一的标准,因此,需借助于统计学中的方法,收集代表性、典型性的数据,以缩短数据收集时间,便于后续工作的持续开展。
3.数据分析与整合
受技术的限制,传统统计学数据处理过程仅采用简单的运算步骤,如计算数据的方差、回归等,且采用该方法不可避免存在一定误差。随着大数据时代的到来,现代化信息技术与设备为统计学提供了先进的技术和便捷的方法,数据处理由单一化调整为多样化,即依托于现代化的先进技术,通过压缩、转换等精细化处理,使得数据处理的过程更为简化、结果更为精确化、误差降至最低。
4.数据应用范围
传统统计学学科研究的数据常常受到技术的限制,收集数据源自一定范围,对有限的数据进行整理与分析,以备所用。随着大数据时代到来,数据收集来源得以扩大化,采集范围拓宽,数据类型逐渐多样化,不仅需要收集本领域的数据,而且还需要关注衍生领域的相关信息数据,数据应用范围由单一的领域应用的范围拓展至多领域,以便于研究人员获取多方面、复杂化的数据。
二、大数据时代下统计学学科变革的困境
(一)统计软件与方法的滞后
随着大数据时代的到来,统计学软件的类型呈现多样化的特点,由过去单一的统计软件扩展为各领域专业化的统计软件,如临床医师统计学助手、PEMS统计软件、R统计软件等,如上软件为领域数据统计提供便利性,但仍存在诸多不足。从统计学学科的角度而言,目前该学科并未推出功能较为全面、适用于各领域的软件。统计方法仍沿用了传统软件中使用的方法。由此可见,统计软件与方法较为滞后,无法适应新时代提出的要求。
(二)数据收集来源的限制
新时代下,数据收集的范围、领域等均在不断的扩大,已打破了传统时间与空间的限制。但在专业数据库建设过程中,可能存在数据收集不全面或者搜集数据不准确等问题,进而影响数据后期的分析和运用,且部分数据属于专业领域范畴内,其保密性较高,使得数据搜收集难度有所增加。
(三)数据类型多元化增加价值挖掘的难度
进入新时代以来,传统低频、低纬的数据已逐渐向高频、高维数据进行转化,数据的频数发生了一定的改变,其蕴藏的价值也有所增加,但相关数据背后的逻辑特征呈现并不清晰,在一定程度上增加了数据信息逻辑机制挖掘的难度,也为研究者的研究工作开展带来一定压力。另外,新时代背景下,数据由结构化模式转型成为半结构与非结构型的模式,且新模式下的数据在人们工作和生活中占据的比例逐渐增加,数据结构模式的转变为统计学学科内容变革提出了要求。
(四)样本选取难度增加
一方面,随着数据收集范围与领域的扩大,选取样本的数量也在不断增加,且呈现成倍的增长趋势,进而要求相关工作人员对大范围样本进行抽取。但受到传统样本选取观念的影响,通常情况下,工作人员对非结构数据的重视程度相对偏低,无法选取有效性、精确性较高的数据信息;另一方面,统计学学科中样本是一项重要的组成部分,传统意义中样本之间存在关联性较高,但随着数据分布范围逐渐扩大,样本之间的关联性逐渐弱化,加之,抽取样本标准的模糊性,导致研究工作者抽取样本工作的难度有所增加。
三、大数据时代下统计学学科变革发展的思路
(一)统计软件与方法的更新
进入新时代以来,统计学学科变革需要在统计软件和方法方面进行及时的更新,要求学科对现有的统计软件进行功能、性质、应用领域的变革,使得应用范围得以拓宽,以服务于更多领域。统计方法的更新如下以概率论和数据统计为例,新时代下推荐采用的两种分析方法,分别是层次分析法和蒙特卡洛法。层次分析法是用于研究不确定因素,由于因素的变化而影响结果,进而影响统计分析结果的时效性,因此,在实际应用中可将复杂的数据结构划分为多个层次,按照元素的级别由高到低进行排序,建立决策矩阵,并计算得出每个元素的重要性,以此为抽样分析数据提供科学方法。蒙特卡洛方法是在对数据中的不确定因素随机抽样,并模拟该元素的不确定性,运用该方法计算结果,以此解决数据统计的相关问题。
(二)拓宽数据收集来源
针对数据收集来源限制的问题,统计学学科变革需要对数据收集来源进行拓宽,为研究者提供本领域及相关领域的数据库、数据搜集的平台以及方法等,如推荐使用离线数据收集、实时数据收集、互联网数据收集以及八度云核算的相关数据、BI数据剖析等,如针对各企业工作者统计工作任务而言,提供数据采集的工具有规范化的传感器、系统日记采集等方法,使得数据采集更加标准化。统计学学科要为大数据时代下各行业的运作提供规范化的数据收集标准和指导。值得注意的是,虽然数据收集来源在逐渐拓宽,但在数据搜集过程中需把控数据的质量,注重数据的安全性。
(三)强化学科思维建设
传统统计学学科已趋于成熟和完善的阶段,但是进入新时代下,统计学的诸多内容需要推陈出新,在学科思维建设方面需进一步强化,重点针对现阶段数据类型逐渐多样化,且朝着半结构与非结构型的模式转变的现状,学科体系应增加大数据时代下数据关联性、相关数据规律联系的挖掘和应用等内容及培训课程,使得各领域在统计工作完成过程中提前熟悉大数据的关联性以及价值挖掘的方法,只有通过思维模式的转变,才能够更好的适应时代对统计学课提出的要求。
(四)采用多元思维选取样本
统计学科在面对时代提出的新要求时,应及时调整研究内容,加大对非结构数据的关注,同时应该针对社会各领域建立数据资源库,或强化大数据的连锁收集方法,通过多种角度的论证,保证为数据工作者提供样本练习的分析思路和方法。如沿用传统统计学中相关测量法,强化该方法的通用性和均等;或者按照样本涉及元素的关系,运用因果分析思路收集样本,使得工作人员掌握样本选取的思路和方法,以更好地选取样本,处理复杂的数据。
四、大数据时代下统计学学科变革的实践应用
大数据时代下统计学学科应用领域将进一步拓展,如下重点以经济数据与商业数据为例,分析新时代下统计学学科变革的思路和实践方法。
(一)经济数据的应用
经济数据是大数据时代下各领域常用的一种数据类型。大数据分析过程中,统计学学科应选取适合大数据的方法,如概率论与数理统计内容的应用,采用正态概率分布方法对经济数据进行分析,该方法较为适用于经济数据的类型,便于工作人员掌握经济市场的运作规律,分析得出市场经济的变化特点,进而结合分析得出的结论,为经济领域的决策提供科学的保障,避免市场隐患带来的经济损失。
(二)商业数据的应用
信息化技术的涌现与广泛应用,为我国商业领域的快速发展提供了技术和平台的支撑,且商业数据与经济数据之间存在着密切的联系,作为经济数据的组成部分,不同类型企业对商业数据进行分析时,可运用统计学的具体方法如下,以概率论与数理统计为例,围绕企业设计的相关领域建立数学模型。该模型需符合的条件如下,将重要元素属性的共同性进行抽取,避免数据不全或者是丢失数据而影响参数,因此,需要选择具体的参数和协变量,并确定最大的数据差值,通常情况下,还需要计算以选取样本数据的回归参数。为了确保分析结果的科学性,还需确定变量的实际数量,对统计分析结果进行优化,以使得统计分析结果科学性和有效性提高。
总而言之,随着大数据时代的到来,数据资料成为人们工作与生活的组成部分,其发挥的作用不可小觑。新时代为统计学学科的变革提出了诸多挑战,如研究内容、收集数据来源、数据内涵与价值的挖掘、样本选取等方面,面对新时代对统计学学科提出的要求,该门学科后必要制定变革的思路,即从软件与方法的更新、收据收集来源的拓展、学科思维建设的强化及多元思维选取样本方面进行转变。通过分析学科发展的瓶颈和存在的挑战,以此转变传统统计学体系的传统理念和思路,主动实现学科的变革,进而更为适应新时代的要求,为各领域研究者工作提供便捷性与便利性。
参考文献
[1]阿尔孜古丽·艾合买提.大数据时代统计学面临的机遇与挑战[J].吉林广播电视大学学报 ,2019(2):132-133.
[2]未良莉,黄虹.大数据时代经管类专业统计学课程教学改革思考[J].合肥学院学报(综合版),2019(1):132-135.
[3]李志男.概率论与数理统计在大数据分析中的应用策略[J].数码世界,2021(3):65-66.
[4]刘利娜.概率论与数理统计在大数据分析中的应用[J].卷宗,2019,9(21):335-336.
[5]孙婷婷,张丽文.探索概率论与数理统计在大数据分析中的应用研究[J].数字化用户,2021(21):25-27,52.