人工智能与量化投资中每日股票数据闭环的实现

大家好,今天小编来为大家解答以下的问题，关于人工智能与量化投资中每日股票数据闭环的实现，这个很多人还不知道，现在让我们一起来看看吧！

有些刚刚接触人工智能和深度神经网络的同学可能会说，没有数据，拿什么来训练呢？事实上，我们可以使用各种方法来生成我们需要的数据，尤其是当我们数据不足的时候。事实上，对于人工智能或深度学习模型来说，高质量的数据太少，用高质量数据和质量不足的数据训练的模型的泛化准确率可能低至几个百分点。但事实上，人工对海量数据进行检查和纠正是一项不可能完成的任务。

让我们回过头来讨论我们今天的话题。正如我之前所说，这个主题是主题《深度学习与金融市场》 的延续。在上一个话题中，我们已经讨论了数据闭环的重要性。在本专题中，我们将讨论具体的实现方法和逻辑。

有的同学可能觉得tushare的数据接口已经很好用了。事实上，当我们真正付诸实践时，我们知道这只是一个基础接口，实时数据部分也缺失了。即使我们进行日常交易，我们仍然需要实时数据。例如，如果我需要14:30的策略，那么Tushare实际上会更新每天15:00到16:00之间的数据。但是，这对于我们做一些基础研究来说还勉强够用。

我们来列出一下我们的数据接口需要实现哪些功能。

1、获取个股历史OHLCV数据。

2. 获取指定多只股票的历史OHLCV数据。

3. 获取所有股票的历史OHLCV 数据。

4. 获取单只股票实时OHLCV数据。

5. 获取指定多只股票的实时OHLCV数据。

6. 获取所有股票的实时OHLCV 数据。

7.更新所有股票的OHLCV数据至最新。

接下来我们将这些功能一一实现。当然，我们会根据需要将数据写入本地，避免重复低效的工作。我们将每只股票的数据按照其代码作为文件名存储为CSV文件。其实我做的时候是存为数据库的，本质上没有太大区别。主要是因为我存储的是分分钟的数据，数据量比较大。

我们通过两种方法完成这四个功能。这里的方法指的是类中的方法。直接根据代码来说话吧！为了方便截图，我的代码中没有添加注释。我们将在文章中进行解释。首先我们导入一些我们需要的包。

然后我们定义一个名为OHLCV 的类。我们先来看看我们的__init__中需要做什么？首先，我们定义一个存储数据的路径。这是必要的。我们不可能每次都从网络上抓取数据，所以建立本地数据库并不断同步到最新是非常有必要的。接下来我们定义tushare 接口所需的令牌。我们将在实例化对象时指定这两个变量。接下来我们定义一个countPerRead变量，因为tushare一次只能读取4000条数据。然后我们实例化了一个tushare pro类，这样以后就不用再实例化了。

然后让我们看一下我们主要的两个方法中将使用到的一些基本方法。 get_local_date方法用于获取本地时间，即您计算机的时间。当然，我们也可以从网上得到这个时间，但是一般每个人的电脑时间都是准确的。 get_basic_info方法用于获取所有A股上市公司的基本信息。主要是get_stock_list和get_IPO_date这两个方法使用。一个用于获取所有上市公司的代码表，另一个用于获取股票。上市时间是我们爬取历史数据时使用的。

接下来是我们的重头戏，get_one_history用于获取一只股票的历史数据。首先介绍一下参数。股票代码为必填项；然后是否将数据从网络更新到本地，这意味着你可能只想从本地读取数据；然后是开始日期和结束日期。

首先，我们读取本地数据。如果本地数据存在，我们将从网络获取数据的起始时间设置为最后一条本地数据的时间。如果本地数据不存在，我们将起始时间设置为股票的上市日期。结束时间始终设置为当天的时间。然后我们判断本地数据是否需要更新。一种情况是本地数据已经是最新的，另一种情况是你只想读取本地数据。在这两种情况下，我们都直接返回本地数据对应的日期段。

其次，我们要通过tushare接口读取数据。由于tushare一次只能读取4000条，所以我们使用循环来读取，我们将循环中读取到的数据连接起来。当一次阅读的内容少于4000条时，我们就认为阅读结束了。跳出循环后，我们将删除日期重复的行。为什么要重复？因为当我们在每次循环中选择日期时，我们使用的是最后读取的数据中的最后一个日期。

最后，删除重复数据后，我们使用tushare的另一个接口读取所有重加权因子。没有重新加权因素的OHLCV就没有灵魂。然后我们使用concat 将复杂的权重因子和历史OHLCV 制作成一个Dataframe。现在我们有一条OHLCV数据，然后我们把它和我们本地读取到的历史数据连接起来，就构成了我们股票的所有历史数据，并且这个历史数据有一个权重因子。我们可以返回我们需要的历史数据段，并将更新的数据写入到我们本地，保证我们本地的数据是最新的。

至此，get_one_history就完成了。接下来我们看一下get_multi_history方法。其实很简单，对吧？我们只需对列表中的每只股票执行get_one_history 操作。

我们来看一下。基本逻辑如下。我们判断codeList是否通过。如果没有，我们认为您需要的是所有A股上市公司。如果是这样，那么codeList 就是您指定的列表。然后我们对每只股票执行get_one_history 。您只需选择update为True，那么您本地的所有数据都会更新到最新。

接下来我们看一下实际的调用示例。我们将分别获取单只、多只和全部股票的数据。

我们看一下data1和data2的打印结果。由于data3太大，我们不会打印它。你可以自己尝试一下。

所以你其实可以看到这种数据就是我们需要的数据。为什么我说网上的这些数据接口不实用呢？因为这些人不是做人工智能量化的，所以他们不具备数据的组织和结构。它不能很好地适应我们的使用。事实上，当你按照下面的内容进行操作时，你会发现一个合适的数据接口可以起到事半功倍的效果。当然，我们这里的数据接口还缺少实时数据接口。如果我们做日常交易，我们需要的实时性并不是特别高。