基于大数据的股票投资决策分析

基于大数据的股票投资决策分析

陈煜

保险职业学院

摘要：本文对基于大数据的下股票投资决策进行了新的探索，探讨了大数据在证券分析中的基本面分析、技术分析以及投资情绪分析中所能发挥的作用，并就可能产生的问题的提出了相应的对策。

关键词：大数据分析；股票投资；金融科技

引言

随着我国股市的快速发展，越来越多的人开始投身于股市。伴随着人们对股市的热情上升，大家发现对股市中大量数据所作出的准确而及时的分析对于投资的效果起着重要的作用。大数据作为信息科学中发展最快的领域之一，也被应用在证券投资中。投资股票本身蕴含着高风险，同时投资者容易盲目的跟风，以至于很难获得收益。但随着大数据技术的完善，利用其自身优势，将计算机与模型进行连接，从而帮助投资者做出适当的决策。因此，越来越多的机构和个人利用大数据分析处理股市交易中产生的大量信息数据来进行股票分析，并且通过挖掘搜集社交网络的相关信息，通过分析来判断市场中的投资情绪，把握市场中的第一动向，将其作为依据进行投资决策。而且金融投资特别是股票投资的相关理论和模型中有许多就是基于对大量的历史与即时数据汇总和分析后所得到的。因此，在股票投资中引入大数据，广泛收集上市公司的相关数据并进行数据挖掘，进而建立更加有效的股票投资策略是金融科技领域发展的重要方向。

一、国内外研究现状

在大数据技术出现之前，聪明的投资者们就已经利用量化投资来研究投资和数据之间的关系。White(1988)就已经尝试采用神经网络技术来预测IBM公司股票在未来的走势。Vesilind（2009）提出了一套采用技术分析、计量分析和简单的排序方法的定量投资模型，以各种金融市场和宏观的经济数据作为输入变量来为G7国家的外汇远期合约和主要发达国家的政府债券的买卖提供交易信号。Zeng（2010）重点考察了新兴股票市场中量化投资者和传统投资者们在绩效表现上的差异，发现两者的区别在过去5到10年间并不明显。但从长远来看，在新兴市场中通过更加熟练的方法实行量化投资更可能获得稳定超额收益。

随着数据处理技术的逐渐成熟，投资者们已经不满足于仅仅依靠证券市场上的历史交易数据来进行投资决策，互联网上的其他公开信息也逐渐引起了研究者们的关注。Antweiler和Frank（2004）研究了发布在 Yahoo! Finance 和 Raging Bull上的 150 万条有关于45支道琼斯指数成分股的公开信息，发现信息能够有助于预测市场的波动性。Edelman（2012）和 Varian（2014）的研究使得该领域的研究范式的初步形成。Bollen、Mao(2011)利用 Twitter 上的信息，采用因果分析和神经网络技术来研究公众的情绪状态，并以此来预测道琼斯工业指数收盘价的变化，每日涨跌的预测的精度可以达到86.7%。Zhang（2013）采用股票名称在百度上的搜索频次来作为一项检测投资者关注度的指标，实证发现了该指标有助于解释股票的异常波动和成交量情况。

国内对大数据在投资决策中的应用是从近几年开始的，2011 年武金存等人通过数据挖掘工具，对指数化的投资组合优化进行了比较研究，2019年许少雄在大数据时代的背景下对股票投资风险进行分析，并利用大数据技术建立模型，给投资者提出应对股市风险的合理化建议分析。同年张鲁奥基于Hadoop大数据框架建立了Mapreduce模型对每只股票数据的隐含信息进行挖掘并以此对股价进行预测。2020年莫易娴等采用滞后六阶自相关模型对中国股市的有效性进行实证检验，发现在大数据时代到来以后市场有效性显著增强。这些研究都充分说明在复杂多变的金融投资环境中，收集和分析并提取有效信息是大数据发挥作用的关键。

在量化投资方面，黄吉平（2015）作为一名资深物理学教授，从物理学的角度阐述了大数据时代量化投资面临的挑战，提出了“基于真实市场的众包预测”和“基于实验室市场的物理学研究方法应用”两种解决路径，并给出了出具体的例证。李子睿（2013）使用量化的方法对趋势跟踪策略进行了优化，并以沪深300股指期货作为投资标的进行回测，结果证实了该策略能够得到较好的投资收益。李慧兰（2014）从股票价格序列模式特征的角度去搜寻潜在的投资机会及其可能的投资回报情况。章宏帆（2015）将动量 Alpha 策略和基本面 Alpha 策略融合作为一种新的量化策略，并通过回测证明了该策略的有效性。

在利用历史交易数据辅助投资决策方面，张永杰、张维、金曦和熊熊（2011）采用搜索引擎的文本语义挖掘算法研究了开源信息对于资产定价的影响，证实了其中包含了传统的交易指标中未包含的有效信息内容。俞庆进和张兵（2012）用实证的方法验证了百度指数和创业板股票市场之间的关联性，并且证实了投资者的关注能够影响股票市场的交易活动。邹振华（2013）主要运用文本挖掘技术采集互联网上的公开信息，并加以过滤，构建了一个量化投资交易系统。

二、大数据技术简介及其分析方法

大数据的定义一般是指数据量十分巨大的信息，其规模巨大到传统软件工具无法快速处理的数据信息资产。大数据由于体量庞大，样式复杂，传统计算机的算力和传统数据库无法胜任其分析工作，要想完成大数据的处理，必须要借助云计算，分布式存储等技术。对大数据进行分析的基础就是从物质世界，互联网以及其他数据源中获取到各种结构化数据、非结构化数据以及非数据化的各种信息，将其存储到处理器中，使用计算机技术进行处理分析，利用高效的算法进行关联分析，从中发现价值。从大数据中得到数据中的内含价值，这也就是大数据分析的目的所在。

从广义上来讲，大数据拥有容量大、频率快、式样多、价值高这四个特征。首先，容量大是指数据本身的基本单位至少是TB以上级别的，在证券行业中，所谓的数据不仅包含了宏观经济数据，公司财务数据，股票行情数据，技术指标数据，还包含了用户数据，行为数据，投资数据等等，这些数据组合在一起形成了大数据。其次，频率快是指大数据不像以往的传统数据，大数据的产生速度更快，频率更高，比如任意一位投资者的每一次操作，和每一个动作，都会在证券交易平台形成一条实实在在的交易数据和行为数据。再次，式样多是指大数据通常包含各种各样的结构化数据，非结构化数据，和半结构化数据。最后，价值高就是指利用云计算，分布式数据库，人工智能等技术对于大数据进行处理后，所得到的成果，商业价值极高。

一般来说，大数据分析包含六个基本方面，分别是：1. 可视化分析，将数据信息转化为图表等形式的可视化信息，清晰直观；2. 数据挖掘算法，从大量的数据中有效地挖掘所需的数据信息，优化处理分析的速度；3. 预测性分析能力。通过可视化分析和数据挖掘的结果做出一些预测性的判断；4. 语义引擎，使用一系列的工具从非结构化的数据中解析，提取，分析数据，从“文档”中智能提取信息；5. 数据质量和数据管理。使用高效率的流程和快捷的工具来处理数据，保证分析结果的高质量；6. 数据存储，数据仓库。按照一定结构和模式建立关系型的数据库将数据存储起来，便于对数据进行查询以及调用分析。

三、股票投资策略中的大数据分析

（一）股票趋势分析

股票趋势分析的内容包含两个方面，分别是技术分析和基本面分析。

1. 基本面分析

在广义上来说，基本面分析是指将经济学当中的总供给和总需求原理作为基础，结合宏观经济政策相关原理，通过对历史的经济数据以及当前的政治经济环境等进行分析来对金融市场的走势进行预测。其要素主要包含宏观经济状况（利率、汇率水平、经济增速，通货膨胀等）、中微观经济运行（行业发展前景，企业财务状况等）以及当前国家实施的财政与货币政策等等。但是广义的基本面分析更加适合预测整体的股市运行趋势，多用于股票指数的投资。更具体的股票趋势分析是从狭义上对相关行业和上市公司的中微观经济状况进行深入分析，其要素主要包含企业报表中的财务指标、管理人员素质、所在行业发展情况、主要产品竞争力等。大数据分析主要是使用相关算法，按照投资者所感兴趣的指标挖掘出符合投资者需求的股票，建立相关规则从中寻找股市中符合要求的股票进行投资。

2. 技术分析

技术分析则是通过研究市场行为来判断市场运行趋势，通过跟随市场运行趋势的周期性变化来进行股票及其他金融衍生品交易的决策。技术分析认为市场行为是重复的，股票市场中的历史将会重演，若市场是有效市场。基于人工神经网络算法的股票技术分析主要通过输入预测样本，设置目标变量，对其打分，之后进行预测并将预测值与实际值相比较，最终通过建立拟合方程，得出预测值与真实值之间的关系，从而为投资决策提供参考。

（二）市场情绪分析

广义上看，投资者情绪包含着众多能够影响投资者对证券的估值以及市场预期的因素；从狭义上看，投资者情绪分析仅仅研究广义上众多因素中的经济变量和其他因素。对于券商与相关的研究者来说，投资者情绪的测量是一个难题。如何对投资者情绪进行量化分析，这对证券市场研究来说至关重要。在投资情绪分析中，通过获取网民经过微博、论坛和博客中的网络文本信息，从杂乱无序的网络媒体信息中获取有价值的信息，把非结构化的文本信息转化为结构化文本信息，从文本信息中提取投资者情绪测评指标，结合属性词典和情感词典，应用情感分析引擎，获得投资者情绪分析结果。从数据量如此巨大的文本信息中挖掘到有价值的信息，也正是大数据分析的长处所在。

四、大数据分析所存在的问题和对策

（一）大数据安全

大数据普遍存在巨大的数据安全需求。由于大数据具有比较高的价值密度，往往是众多黑客眼中的一块肥肉，因此吸引了大量的攻击者铤而走险。在 2013 年与 2014 年，全球互联网巨头雅虎曾被黑客攻破了用户账户保护算法，分别导致了超过 10 亿以及 5 亿的账户信息泄露，其内容涉及用户姓名、电子邮箱、电话号码、出生日期和部分登录密码。我国也暴发过“2000 万条酒店开房数据泄露”等一些安全事件，引起了全社会的广泛关注。除了外部盗取带来的风险，内部人员盗窃数据而导致损失的风险也应当重点关注。2017 年，我国某著名互联网公司内部员工盗取并贩卖涉及交通、物流、医疗、社交、银行等个人信息 50 亿条，通过各种方式在网络黑市贩卖。

大数据技术作为计算机技术发展的成果，要想继续扩大应用，在更重要更紧要的领域进行应用，信息安全必须在技术层面上得到保障。黑客通过企业的技术漏洞从企业的服务器中窃取数据，而技术漏洞则只能通过升级技术手段来加以弥补，相关企业必须将培养技术人才以及研发信息安全技术作为公司的战略性规划并且加大投入。

（二）大数据隐私保护

大数据普遍还存在隐私保护不善的问题。个人隐私泄露不仅会为用户带来严重的骚扰问题，也可能会让用户以及亲友面临遭受诈骗的风险，从而对用户造成极大的侵害。除此之外，人们面临的威胁还有基于大数据对人们状态以及行为的预测。随着深度学习等人工智能技术的快速发展，通过对用户行为建模与分析，个人行为规律可以被更为准确地预测与识别，甚至刻意隐藏的敏感属性可以被推测出来。在社交网络中，可以通过用户的朋友具有的属性、用户加入的群组等推测用户可能具有的属性，用户隐藏的敏感属性存在着挖掘和被公布的风险。例如通过分析用户的 twitter 信息，可以发现用户的政治倾向、消费习惯等。除此之外，研究者基于用户的历史轨迹建立隐马尔可夫模型，利用此模型可成功地对用户出行的目的地进行预测。一旦被不法分子获取到这些信息，将对用户造成难以想象的后果。

由于法律法规以及监管层面的缺乏，用户数据收集、存储、管理与使用等缺乏规范，单纯依靠企业的自律无法切实保障用户隐私安全。在商业化场景中，用户应有权决定自己的信息如何被利用，实现用户可控的隐私保护。随着科技进步的高速发展以及互联网技术的快速推广应用，健全法律法规为应用新兴技术、保护人民利益保驾护航迫在眉睫。

五、结语

通过大数据技术的应用，可以对现证券领域拥有大量的数据资源进行开发，建立出对股票投资预测的模型，从而实现正确的投资。新时代、新背景下的投资方法需要人们继续不断探索。

参考文献

（1）基于互联网金融背景下证券投资策略研究[D]. 林礼连. 江西财经大学. 2016

（2）证券投资的数据化整合动态估值思维[J]. 张孝生 . 金融经济. 2018(08)

（3）大数据网络舆情对证券投资收益与风险影响研究[J]. 郭建峰  刘樱. 经济研究导刊. 2017(12)

（4）大数据分析的应用案例—投资模型的稳健性[J]. 覃雄派,陈跃国，王邦国. 计算机应用. 2017(03)

（5）大数据时代股票投资策略的探讨[J]. 席文帅. 现代经济信息. 2016(08)

（5）大数据时代量化投资:功能、挑战与解决路径[J]. 黄吉平. 金融纵横. 2015(05)

（6）周丹,刘浏.股票买卖策略研究——基于质量控制图的实证分析[J].市场周刊(理论研究). 2017(11):135-137.

（7）董晨昱,刘维奇,LIU  Wei-min,王钰.股票收益反转效应及与买卖价差关系研究[J].管理科学学报. 2016.19(06):171-182.

（8）加建荣.“三位一体 ”股票支撑压力研判买卖法与实证研究 [J].陕西广播电视大学学报. 2011. 13(04):78-81.

（9）许少雄.大数据与个人股票投资风险优化的思考[J].商讯,2019(26):95-96.

（10）莫易娴,周乐敏.大数据时代中国股票市场有效性研究 [J].上海立信会计金融学院学报,2020(01):60-72.

（11）邢伟琛.大数据环境下的股票预测探究[J].中国商论,2020(03):31-32.

（12） 张鲁奥.基于大数据Hadoop的股票利润分析平台设计与实现[J].电子制作,2019(04):42-44.

（13）毛月月,张秋悦.基于机器学习的股票预测方法研究[J].现代计算机,2020(23):44-47.

（14）唐思佳,熊昕,谢满,丁力,张上.基于机器学习的优化股票多因子模型[J].信息与电脑(理论版),2019,31(23):30-32.

（15）周浩,唐琦,杨雪.基于大数据的股票多因子量化投资策略优化研究 [J].商讯,2019(24):86-87. 

基金项目：保险职业学院一般科研项目：大数据视野下的投资决策研究（编号：202001C）