基于聚类技术的股市基本趋势规律挖掘

【证券市场】

基于聚类技术的股市基本趋势规律挖掘

张　杨　宋　恒

摘　要:本文提出采用技术指标构造特征空间,在特征空间上用模糊核聚类算法寻找股市规律的股市技术分析方法。对1997年以来的沪市大盘指数进行了实证分析试验,识别出了市场基

本趋势的演化规律,显示出该方法具有长期预测市场发展方向的能力。

关键词:股票　技术分析　聚类　长期预测

一、概述

技术分析是一种具有两百多年历史的完全根据市场行情变化来进行分析的股市分析方法。传统技术分析方法众多,但没有一种能普适于市场,根本原因在于所采用的数学工具不能深入挖掘到市场本质规律。

二十世纪60年代开始,基于数据的机器学习理论[1]开始发展,并迅速在股市数据挖掘中得到应用,主要是从函数拟合的角度作时间序列预测。神经网络作为一种具有自学习能力的高度非线性系统,理论上能在任意精度上逼近任一定义在致密集上的非线性函数,在时间序列预测问题上表现出非凡的优越性。但由于神经网络缺乏统计意义,在对股市这样一个样本数据(历史数据)有限且存在大量噪声的系统进行分析时,必然陷入难以解决的过学习和欠学习问题。有文献[2,3,4]利用小波变换在拟合前对数据进行过滤,取得了一定效果,但因为股市噪声概率密度的未知,本质上也只能起到平均平滑的作用。1989年美国学者Schinkman和LeBaron发现了股票日收益序列与周收益序列中存在混沌现象[5]。股市中混沌现象的发现,从动力学的角度证明了对股市数据进行时间序列预测的科学性,但同时也说明了时间序列预测在股市中只能具有短期效应。

在本文中,我们提出从统计模式识别的角度挖掘股市规律的思想。在分析了技术指标在技术分析中的地位后,提出用技术指标建立特征空间。在对股市数据空间结构研究的基础上,设计出模糊主轴核聚类算法。我们以道氏理论为专业知识,对1997年以来沪市的基本趋势进行了聚类分析,并进行了中短期和长期识别试验。结果表明,该方法能实时的识别出市场形态,并具有长期预测能力,不失为现代信号处理技术条件下股市技术分析的新方向。

二、股市聚类分析方法

我们把通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式,把模式所属的类别或同一类中模式的总体称为模式类。模式识别就是用分类器对待识别的样本进行分类决策的过程[6]。基于统计的模式识别系统的基本构成如图1所示:

图1　模式识别系统的基本构成图

从模式识别的角度来考虑股市分析,具体如下:

(1)信息获取就是对研究对象进行测量、采样、量化,用计算机可以运算的符合来表示所研究的对象。股市基本数据(开盘价、收盘价、最高价、最低价、成交量等)都是时间序列数据,非常便于计算机处理,所以对股市的信息获取就是实时获得其基本数据。

(2)预处理一般为滤波,去除信息中的噪声。因为股市是一种巨复杂系统,其发展过程受到很多因素

(经济运行、公司盈利能力、政治环境和‘技术性交易者’的行为等)的协同影响,到目前为止还不能清楚把握股市信息和噪声的分布特性,所以对股市数据只能采取平滑技术进行预处理。本文采用没有时延的指数平滑法,计算公式如下:

EX PM A 1=C 1

EX PM A 1=n -1n +1EX PM A i-1+2n +1

C i 其中C i 表示第i 日的收盘价,n 是指数平滑因子,本文取n =30。

(3)特征提取和选择是为了有效的实现分类识别,对原始数据进行变换,得到最能反映分类本质的特征,建立特征空间。在股市技术分析中,技术指标实际上就是一种特征提取方式。为了构造便于聚类的特征空间,一般来说要对技术指标进行压缩或伸展处理。

本文研究的是大盘指数,根据尽可能反映市场特征和便于聚类的原则,我们构造出一种特征空间:将大盘指数的六个技术指标[7](迪马克尔指标DM KI 、聚散指标A/D 、相对强弱指标RSI 、移动平均摆动量MAOSC 、资金流动指数MFI 、量相对强弱指标VRSI )经适度伸缩后结合为六维特征空间。

(4)分类决策就是根据设计好的分类器,在特征空间中用统计方法对被识别对象进行归类。对于股市这种巨复杂系统,状态在不断的演化,估计概率密度函数很困难,所以非监督模式识别中的聚类方法适合于股市形态识别。用聚类方法进行股市分析存在很大的不确定性,主要原因在于在股市分析问题中我们没有已知类别的训练样本集,甚至不知道类别数,只能根据样本间的相似性度量(距离信息)进行分类。如何有效的对股市进行聚类识别,必须从三方面来考虑:一是特征空间的构造,包括技术指标的选取和空间尺度的伸缩;二是聚类算法的设计,包括距离度量、聚类准则的选取,以及核函数的构造;三是尽量利用证券分析领域的专业知识,以弥补信息的不足。

本文对构造的股市数据特征空间研究发现,其样本分布复杂,绝不会单纯的呈球状或近球状分布。所以,我们设计了一种基于样本和核的相似性度量的模糊主轴核聚类算法。该算法在样本分类数目未知的情况下,不仅能对类的自然分布为球状或接近球状的样本作有效聚类,对一些类的自然分布为非球状的样本也能作出较有效聚类。该算法具体步骤如下:

步骤一　对n 样本y 1采用最近距离、最远距离、均值距离三种相似性度量分别进行分级聚类,得到各自的分类数目C i ,保留C i ∈[2,4]的聚类结果,并通过K -L 变换得到主轴核函数K ij 。

其中i =1,2,3　j =1,...,C i l =1,...,n

步骤二　进行模糊聚类

for i =1,2,3

a.初始划分选为C i ,初始核为K ij 。

b.按下列规则:

u j (y l )=(Δ(y l ,K ij ))-1/(b-1)

∑(Δ(y l ,K ij ))-1/(b-1),b >1若u j (y l )=max (u j (y l ))

则y 1∈

Γij (将每个样本y l 分到相应聚类Γij 中)。c.按K -L 变换重新修正主轴核函数K ij ,计算聚类损失函数J i

J i =∑j ∑i (u j (y i ))b

Δ(y l ,K ij )

若J i 改变低于某一阈值θ,继续进行下一步运算,否则转回到b 。

end

步骤三　判断最优聚类。

按下列规则:

若J i =min (J i )

则Γij 为最优聚类。

算法中Δ为欧氏距离。本文实证分析的目的是希望识别出道氏理论指出的基本趋势的演化形态,所以限制分类数目在2到4之间。

三、实证分析

道氏理论[8]指出,市场在总体演进中形成三种趋势:基本趋势、次要趋势、短暂趋势。其中反映市场主要情况的基本趋势最重要,它分为基本上升趋势和基本下降趋势。在基本上升趋势中一般会依次出现三个阶段:建仓(或积累)阶段、稳定上涨阶段、市场高峰阶段。在股市的基本数据包含了所有的市场信息的前提下,如果股市基本趋势在统计意义下具有可识别性,我们就可以用聚类的方法分析股市形态。

我们从https://www.360docs.net/doc/ed11051443.html,下载了1997年1月2日———2004年11月25日共1894个交易日的上证指数(000001)的基本数据,用指数平滑进行预处理,其日交易收盘点数曲线如图2所示(其中实线表示日交易收盘点数曲线,虚线表示日交易收盘点数30日指数平滑曲线)。图2———4横轴均表示交易日,单位:日;纵轴均表示价格,单位:元。

图2　上证指数日收盘点数曲线图

对上证指数,将波峰与波谷相差超过300点的波动视为基本趋势。从图2中我们看到,1997年以来上证指数共形成了七次基本趋势(图中用字母a-g表示),其中第四次最大,且是三重顶结构,第五次是双重顶结构。对深证成指,将波峰与波谷相差超过600点的波动视为基本趋势。

我们看到,上证指数经30日指数平滑后无时延的反映出了原曲线的基本趋势,这是本文采用30日指数平滑作为数据预处理的原因。

1、根据道氏理论辩识市场形态

我们取图2的前1450个交易日数据作市场形态辨识试验。用模糊主轴核聚类算法对上证指数前五次基本趋势分别在特征空间进行聚类,如图3所示。(分类结果为三类,图中用‘.’‘o’‘+’表示分出的三种类别)。

由图3可见,尽管沪市的五次基本趋势的演化波形都不相同,但在聚类技术下显示出了共有的特征:在市场稳定上涨期间,总会持续出现“o”类别信号;在市场的高峰期,都会持续出现“.”类别信号;在市场快速下跌时,立刻会持出现“+”类别信号。这说明中国股市存在规律性,且具规律性是可挖掘的。同时我们也看到,在市场上升初期也可能会出现“.”类别信号。我们认为,这正是股市规律的可变性和噪声影响的体现。根据图3的聚类结果,从统计意义上来说,我们有理由把市场上升阶段的“o”定为市场稳定上涨信号,把“.”定义为市场高峰信号,把市场高峰后的“+”定义为市场下跌信号(市场高峰前出现的‘+’视为无效信号)。并以这五次基本趋势为样本数据,进行后市分析。

图3　对沪市第一至第五次基本趋势的聚类分析结果

2、后市分类识别试验

我们以1997年1月1日以来沪市前1450个交易日的共五次基本趋势为样本数据,对沪市之后出现的两次基本趋势进行分类识别(此时为有样本数据下的监督模式识别),结果如图4所示(图中①②是沪市第六、七次基本趋势的识别结果)。

图4　沪市的后市分类识别结果

由图4可见,市场稳定上涨信号“o”基本上能在市场高峰前指示市场的稳定上涨状况;市场高峰信号“.”能准确的标识四次基本趋势的市场顶峰;市场下跌信号“+”能在市场高峰后及时地发出信号。这就意识着,可以根据过去市场基本趋势的统计规律对市场将来的演化形态进行识别,预测市场发展方向。值得指出的是,这种基本聚类技术的识别方法不仅能适用于中短期预测(本文对沪市第六次基本趋势的识别),还能用于长期预测(本文对沪市第七次基本趋势的识别,和建立样本数据的时间点相差了200个交易日)。

四、结论

本文提出了用统计模式识别技术分析股市的思想,并设计出具体的特征空间和聚类算法对沪市进行了实证分析,得出以下结论:

(1)股市的基本趋势中存在统计规律,并能够通过构造合适的特征空间和聚类算法,在一定程度上识别出其中隐含的规律。

(2)采用模式识别技术,可以在统计意义下对股市进行中短期甚至长期基本趋势演化形态识别。

本文在实证分析中提出的模式识别方法只是一种抛砖引玉,旨在说明该思路用于挖掘股市规律的可行性。基本特征空间的构造、聚类算法的设计并不拘泥于一两种形式,比如支持向量机也是一种解决股市数据模式识别问题的有效方法。关键在于应用先进的数学工具,深入挖掘股市内在规律,这才是技术分析的发展方向。

参考文献

[1]Vladimir Cherkassky,Filip Mulier,Learning From Data:Concepts,Theory and Methods[M].New

Y ork:John Wiley&Sons,1997.

[2]杨一文等,基于神经网络的多变量时间序列预测及其在股市中的应用[J].信息与控制,2001,30(5):

413-417.

[3]Y i2wen Yang,Gui2zhong Liu,Z ong2ping Zhang.Stock Market Trend Prediction Based on Neural Net2

works,Multiresolution Analysis and Dynamical Reconstruction[C].IEEE/IA FE Conference on Compu2 tational Intelligence for Financial Engineering,Proceedings(CIEEr),2002,16(2):32-37.

[4]姚洪兴等.股市预测中的小波神经网络方法的研究[J].管理工程学报,2006,16(2):32-37.

[5]Schekman J A and Lebaron B.Nonlinear dynamics and stock returns[J].Journal of Busiess,1989,62:

311-317.

[6]J.Sklandsky and G.N.Wassel.Pattern Classifiers and Trainable Machines[M].New Y ork:Springer2

Verlag,1981.

[7]杨健.股票市场技术分析手册[M].北京:中国宇航出版社,2002.

[8]M A Johnson.The Random Walk and Beyond:An Inside Guide to the Stock Market[M].New Y ork:

John Wiley&Sons,1988.