hikyuu 2.2.2__py3-none-win_amd64.whl

hikyuu/include/hikyuu/Stock.h

@@ -0,0 +1,351 @@
+/*
+ * Stock.h
+ *
+ *  Created on: 2011-11-9
+ *      Author: fasiondog
+ */
+
+#pragma once
+#ifndef STOCK_H_
+#define STOCK_H_
+
+#include <shared_mutex>
+#include "StockWeight.h"
+#include "KQuery.h"
+#include "TimeLineRecord.h"
+#include "TransRecord.h"
+#include "HistoryFinanceInfo.h"
+
+namespace hku {
+
+class HKU_API StockManager;
+class KDataDriverConnect;
+
+template <class DriverConnectT>
+class DriverConnectPool;
+
+typedef DriverConnectPool<KDataDriverConnect> KDataDriverConnectPool;
+typedef shared_ptr<KDataDriverConnectPool> KDataDriverConnectPoolPtr;
+class HKU_API KData;
+class HKU_API Parameter;
+class HKU_API Block;
+
+/**
+ * Stock基类，Application中一般使用StockPtr进行操作
+ * @ingroup StockManage
+ */
+class HKU_API Stock {
+    friend class StockManager;
+
+private:
+    static const string default_market;
+    static const string default_code;
+    static const string default_market_code;
+    static const string default_name;
+    static const uint32_t default_type;
+    static const bool default_valid;
+    static const Datetime default_startDate;
+    static const Datetime default_lastDate;
+    static const price_t default_tick;
+    static const price_t default_tickValue;
+    static const price_t default_unit;
+    static const int default_precision;
+    static const size_t default_minTradeNumber;
+    static const size_t default_maxTradeNumber;
+
+public:
+    Stock();
+
+    Stock(const Stock&);
+    Stock(Stock&&);
+    Stock(const string& market, const string& code, const string& name);
+
+    Stock(const string& market, const string& code, const string& name, uint32_t type, bool valid,
+          const Datetime& startDate, const Datetime& lastDate);
+    Stock(const string& market, const string& code, const string& name, uint32_t type, bool valid,
+          const Datetime& startDate, const Datetime& lastDate, price_t tick, price_t tickValue,
+          int precision, size_t minTradeNumber, size_t maxTradeNumber);
+    virtual ~Stock();
+    Stock& operator=(const Stock&);
+    Stock& operator=(Stock&&);
+    bool operator==(const Stock&) const;
+    bool operator!=(const Stock&) const;
+
+    /**
+     * 获取内部id，一般用于作为map的键值使用，该id实际为m_data的内存地址
+     * @note 非数据库中的stockid
+     */
+    uint64_t id() const;
+
+    /** 获取所属市场简称，市场简称是市场的唯一标识 */
+    const string& market() const;
+
+    /** 获取证券代码 */
+    const string& code() const;
+
+    /** 市场简称+证券代码，如: sh000001 */
+    const string& market_code() const;
+
+    /** 获取证券名称 */
+    const string& name() const;
+
+    /** 获取证券类型 */
+    uint32_t type() const;
+
+    /** 该证券当前是否有效 */
+    bool valid() const;
+
+    /** 获取证券起始日期 */
+    const Datetime& startDatetime() const;
+
+    /** 获取证券最后日期 */
+    const Datetime& lastDatetime() const;
+
+    /** 获取最小跳动量 */
+    price_t tick() const;
+
+    /** 最小跳动量价值 */
+    price_t tickValue() const;
+
+    /** 每单位价值 = tickValue / tick */
+    price_t unit() const;
+
+    /** 获取价格精度 */
+    int precision() const;
+
+    /** 获取最小交易数量，同minTradeNumber */
+    double atom() const;
+
+    /** 获取最小交易数量 */
+    double minTradeNumber() const;
+
+    /** 获取最大交易量 */
+    double maxTradeNumber() const;
+
+    void market(const string& market_);
+    void code(const string& code_);
+    void name(const string& name_);
+    void type(uint32_t type_);
+    void valid(bool valid_);
+    void precision(int precision_);
+    void startDatetime(const Datetime&);
+    void lastDatetime(const Datetime&);
+    void tick(price_t tick_);
+    void tickValue(price_t val);
+    void minTradeNumber(double num);
+    void maxTradeNumber(double num);
+    void atom(double num) {
+        return minTradeNumber(num);
+    }
+
+    /**
+     * 获取指定时间段[start,end)内的权息信息
+     * @param start 起始日期
+     * @param end 结束日期
+     * @return 满足要求的权息信息列表指针
+     */
+    StockWeightList getWeight(const Datetime& start = Datetime::min(),
+                              const Datetime& end = Null<Datetime>()) const;
+
+    /** 获取不同类型K线数据量 */
+    size_t getCount(KQuery::KType dataType = KQuery::DAY) const;
+
+    /** 获取指定日期时刻的市值，即小于等于指定日期的最后一条记录的收盘价, 如果证券已失效，则为0 */
+    price_t getMarketValue(const Datetime&, KQuery::KType) const;
+
+    /**
+     * 根据KQuery指定的条件，获取对应的K线位置范围
+     * @param query [in] 指定的查询条件
+     * @param out_start [out] 对应的K线起始范围
+     * @param out_end [out] 对应的K线结束范围，不包含自身
+     * @return true 成功 | false 失败
+     */
+    bool getIndexRange(const KQuery& query, size_t& out_start, size_t& out_end) const;
+
+    /** 获取指定索引的K线数据记录，pos 无效时返回 Null<KRecord> */
+    KRecord getKRecord(size_t pos, const KQuery::KType& dataType = KQuery::DAY) const;
+
+    /** 根据数据类型（日线/周线等），获取指定日期的KRecord */
+    KRecord getKRecord(const Datetime&, const KQuery::KType& ktype = KQuery::DAY) const;
+
+    /** 获取K线数据 */
+    KData getKData(const KQuery&) const;
+
+    /**
+     * 根据查询条件获取 KRecordList，不建议在客户端直接使用
+     * @note 该方法不支持复权
+     * @param query 查询条件
+     */
+    KRecordList getKRecordList(const KQuery& query) const;
+
+    /** 获取日期列表 */
+    DatetimeList getDatetimeList(const KQuery& query) const;
+
+    /** 获取分时线 */
+    TimeLineList getTimeLineList(const KQuery& query) const;
+
+    /** 获取历史分笔数据 */
+    TransList getTransList(const KQuery& query) const;
+
+    /**
+     * 获取当前财务信息
+     */
+    Parameter getFinanceInfo() const;
+
+    /**
+     * 获取所属板块列表
+     * @param category 指定的板块分类，如果为空，则返回所有板块分类的所属板块
+     * @return BlockList
+     */
+    vector<Block> getBelongToBlockList(const string& category) const;
+
+    /**
+     * 获取历史财务信息
+     */
+    const vector<HistoryFinanceInfo>& getHistoryFinance() const;
+
+    /** 设置权息信息, 仅供初始化时调用 */
+    void setWeightList(const StockWeightList&);
+
+    /**
+     * 判断是否在交易时间段内，忽略日期仅判断时分秒
+     * @param time 时间
+     */
+    bool isTransactionTime(Datetime time);
+
+    /** 设置K线数据驱动 */
+    void setKDataDriver(const KDataDriverConnectPoolPtr& kdataDriver);
+
+    /** 获取K线驱动*/
+    KDataDriverConnectPoolPtr getKDataDirver() const;
+
+    /**
+     * 将K线数据做自身缓存
+     *  @note 一般不主动调用，谨慎
+     */
+    void loadKDataToBuffer(KQuery::KType);
+
+    /** 释放对应的K线缓存 */
+    void releaseKDataBuffer(KQuery::KType);
+
+    /** 指定类型的K线数据是否被缓存 */
+    bool isBuffer(KQuery::KType) const;
+
+    /** 是否为Null */
+    bool isNull() const;
+
+    /** （临时函数）只用于更新缓存中的K线数据 **/
+    void realtimeUpdate(KRecord, KQuery::KType ktype = KQuery::DAY);
+
+    /**
+     * 部分临时创建的 Stock, 直接设置KRecordList
+     * @note 谨慎调用，通常供外部数据源直接设定数据
+     */
+    void setKRecordList(const KRecordList& ks, const KQuery::KType& ktype = KQuery::DAY);
+    void setKRecordList(KRecordList&& ks, const KQuery::KType& ktype = KQuery::DAY);
+
+    /** 仅用于python的__str__ */
+    string toString() const;
+
+private:
+    bool _getIndexRangeByIndex(const KQuery&, size_t& out_start, size_t& out_end) const;
+
+    // 以下函数属于基础操作添加了读锁
+    size_t _getCountFromBuffer(KQuery::KType ktype) const;
+    KRecord _getKRecordFromBuffer(size_t pos, const KQuery::KType& ktype) const;
+    KRecordList _getKRecordListFromBuffer(size_t start_ix, size_t end_ix,
+                                          KQuery::KType ktype) const;
+    bool _getIndexRangeByDateFromBuffer(const KQuery&, size_t&, size_t&) const;
+
+private:
+    struct HKU_API Data;
+    shared_ptr<Data> m_data;
+    KDataDriverConnectPoolPtr m_kdataDriver;
+};
+
+struct HKU_API Stock::Data {
+    string m_market;       // 所属的市场简称
+    string m_code;         // 证券代码
+    string m_market_code;  // 市场简称证券代码
+    string m_name;         // 证券名称
+    uint32_t m_type;       // 证券类型
+    bool m_valid;          // 当前证券是否有效
+    Datetime m_startDate;  // 证券起始日期
+    Datetime m_lastDate;   // 证券最后日期
+
+    StockWeightList m_weightList;  // 权息信息列表
+    std::mutex m_weight_mutex;
+
+    mutable vector<HistoryFinanceInfo>
+      m_history_finance;  // 历史财务信息 [财务报告日期, 字段1, 字段2, ...]
+    mutable std::atomic_bool m_history_finance_ready{false};
+    mutable std::mutex m_history_finance_mutex;
+
+    price_t m_tick;
+    price_t m_tickValue;
+    price_t m_unit;
+    int m_precision;
+    double m_minTradeNumber;
+    double m_maxTradeNumber;
+
+    unordered_map<string, KRecordList*> pKData;
+    unordered_map<string, std::shared_mutex*> pMutex;
+
+    Data();
+    Data(const string& market, const string& code, const string& name, uint32_t type, bool valid,
+         const Datetime& startDate, const Datetime& lastDate, price_t tick, price_t tickValue,
+         int precision, double minTradeNumber, double maxTradeNumber);
+    string marketCode() const;
+    virtual ~Data();
+};
+
+/**
+ * 输出Stock信息，如：Stock(market, code, name, type, valid, startDatetime, lastDatetime)
+ * @ingroup StockManage
+ */
+HKU_API std::ostream& operator<<(std::ostream& os, const Stock& stock);
+
+/** @ingroup StockManage */
+typedef vector<Stock> StockList;
+
+/**
+ * 获取Stock，目的是封装StockManager，客户端不直接使用StockManager对象
+ * @param querystr 格式：“市场简称证券代码”，如"sh000001"
+ * @return 对应的证券实例，如果实例不存在，则Null<Stock>()，不抛出异常
+ * @ingroup StockManage
+ */
+Stock HKU_API getStock(const string& querystr);
+
+/* 用于将Stock实例作为map的key，一般建议使用stock.id做键值，
+ * 否则map还要利用拷贝构造函数，创建新对象，效率低 */
+bool operator<(const Stock& s1, const Stock& s2);
+inline bool operator<(const Stock& s1, const Stock& s2) {
+    return s1.id() < s2.id();
+}
+
+inline uint64_t Stock::id() const {
+    return isNull() ? 0 : (int64_t)m_data.get();
+}
+
+inline bool Stock::operator!=(const Stock& stock) const {
+    return !(*this == stock);
+}
+
+}  // namespace hku
+
+namespace std {
+template <>
+class hash<hku::Stock> {
+public:
+    size_t operator()(hku::Stock const& stk) const noexcept {
+        return stk.id();  // or use boost::hash_combine
+    }
+};
+}  // namespace std
+
+#if FMT_VERSION >= 90000
+template <>
+struct fmt::formatter<hku::Stock> : ostream_formatter {};
+#endif
+
+#endif /* STOCK_H_ */

hikyuu/include/hikyuu/StockManager.h

@@ -0,0 +1,361 @@
+/*
+ * StockManager.h
+ *
+ *  Created on: 2011-11-9
+ *      Author: fasiondog
+ */
+
+#ifndef STOCKMANAGER_H_
+#define STOCKMANAGER_H_
+
+#include <mutex>
+#include <thread>
+#include "hikyuu/utilities/Parameter.h"
+#include "hikyuu/utilities/thread/thread.h"
+#include "hikyuu/data_driver/DataDriverFactory.h"
+#include "Block.h"
+#include "MarketInfo.h"
+#include "StockTypeInfo.h"
+#include "StrategyContext.h"
+
+namespace hku {
+
+typedef vector<string> MarketList;
+
+/**
+ * 证券信息统一管理类
+ * @ingroup StockManage
+ */
+class HKU_API StockManager {
+public:
+    /** 获取StockManager单例实例 */
+    static StockManager& instance();
+    virtual ~StockManager();
+
+    StockManager(const StockManager&) = delete;
+    StockManager& operator=(const StockManager&) = delete;
+
+    /**
+     * 初始化函数，必须在程序入口调用
+     * @param baseInfoParam 基础信息驱动参数
+     * @param blockParam 板块驱动参数
+     * @param kdataParam K线驱动参数
+     * @param preloadParam 预加载参数
+     * @param hikyuuParam 其他参数
+     * @param context 策略上下文
+     */
+    void init(const Parameter& baseInfoParam, const Parameter& blockParam,
+              const Parameter& kdataParam, const Parameter& preloadParam,
+              const Parameter& hikyuuParam,
+              const StrategyContext& context = StrategyContext({"all"}));
+
+    /** 重新加载 */
+    void reload();
+
+    /** 主动退出并释放资源 */
+    static void quit();
+
+    /** 获取基础信息驱动参数 */
+    const Parameter& getBaseInfoDriverParameter() const;
+
+    /** 获取板块驱动参数 */
+    const Parameter& getBlockDriverParameter() const;
+
+    /** 获取 K 线数据驱动参数 */
+    const Parameter& getKDataDriverParameter() const;
+
+    /** 获取预加载参数 */
+    const Parameter& getPreloadParameter() const;
+
+    /** 获取其他参数 */
+    const Parameter& getHikyuuParameter() const;
+
+    /** 获取策略上下文 */
+    const StrategyContext& getStrategyContext() const;
+
+    /** 获取基础信息驱动 */
+    BaseInfoDriverPtr getBaseInfoDriver() const;
+
+    /**
+     * 获取用于保存零时变量等的临时目录，如为配置则为当前目录
+     * 由m_config中的“tmpdir”指定
+     */
+    string tmpdir() const;
+
+    /** 获取数据目录 */
+    string datadir() const;
+
+    /** 获取证券数量 */
+    size_t size() const;
+
+    /** 是否所有数据准备完毕 */
+    bool dataReady() const;
+
+    /**
+     * 根据"市场简称证券代码"获取对应的证券实例
+     * @param querystr 格式：“市场简称证券代码”，如"sh000001"
+     * @return 对应的证券实例，如果实例不存在，则Null<Stock>()，不抛出异常
+     */
+    Stock getStock(const string& querystr) const;
+
+    /** 同 getStock @see getStock */
+    Stock operator[](const string&) const;
+
+    StockList getStockList(
+      std::function<bool(const Stock&)>&& filter = std::function<bool(const Stock&)>()) const;
+
+    /**
+     * 获取相应的市场信息
+     * @param market 指定的市场标识
+     * @return 相应的市场信息，如果相应的市场信息不存在，则返回Null<MarketInfo>()
+     */
+    MarketInfo getMarketInfo(const string& market) const;
+
+    /**
+     * 获取相应的证券类型详细信息
+     * @param type 证券类型
+     * @return 对应的证券类型信息，如果不存在，则返回Null<StockTypeInf>()
+     */
+    StockTypeInfo getStockTypeInfo(uint32_t type) const;
+
+    /** 获取市场简称列表 */
+    MarketList getAllMarket() const;
+
+    /**
+     * 获取预定义的板块
+     * @param category 板块分类
+     * @param name 板块名称
+     * @return 板块，如找不到返回空
+     */
+    Block getBlock(const string& category, const string& name);
+
+    /**
+     * 获取指定分类的板块列表
+     * @param category 板块分类
+     * @return 板块列表
+     */
+    BlockList getBlockList(const string& category);
+
+    /**
+     * 获取所有板块
+     * @return 板块列表
+     */
+    BlockList getBlockList();
+
+    /**
+     * 获取指定证券所属的板块列表
+     * @param stk 指定证券
+     * @param category 板块分类，如果为空字符串，返回所有板块分类下的所属板块
+     * @return BlockList
+     */
+    BlockList getStockBelongs(const Stock& stk, const string& category);
+
+    /**
+     * 获取交易日历，目前支持"SH"
+     * @param query
+     * @param market
+     * @return DatetimeList
+     */
+    DatetimeList getTradingCalendar(const KQuery& query, const string& market = "SH");
+
+    /**
+     * 获取10年期中国国债收益率
+     */
+    const ZhBond10List& getZhBond10() const;
+
+    /**
+     * 判断指定日期是否为节假日
+     * @param d 指定日期
+     */
+    bool isHoliday(const Datetime& d) const;
+
+    const string& getHistoryFinanceFieldName(size_t ix) const;
+    size_t getHistoryFinanceFieldIndex(const string& name) const;
+    vector<std::pair<size_t, string>> getHistoryFinanceAllFields() const;
+
+    vector<HistoryFinanceInfo> getHistoryFinance(const Stock& stk, Datetime start, Datetime end);
+
+    /**
+     * 添加Stock，仅供临时增加的特殊Stock使用
+     * @param stock
+     * @return true 成功 | false 失败
+     */
+    bool addStock(const Stock& stock);
+
+    /**
+     * 从 StockManager 中移除相应的 Stock，一般用于将临时增加的 Stock 从 sm 中移除
+     * @param market_code
+     */
+    void removeStock(const string& market_code);
+
+    /**
+     * 从CSV文件（K线数据）增加临时的Stock，可用于只有CSV格式的K线数据时，进行临时测试
+     * @details 增加的临时Stock，其market为“TMP”
+     * @param code 自行编号的证券代码，不能和已有的Stock相同，否则将返回Null<Stock>
+     * @param day_filename 日线CSV文件名
+     * @param min_filename 分钟线CSV文件名
+     * @param tick 最小跳动量，默认0.01
+     * @param tickValue 最小跳动量价值，默认0.01
+     * @param precision 价格精度，默认2
+     * @param minTradeNumber 单笔最小交易量，默认1
+     * @param maxTradeNumber 单笔最大交易量，默认1000000
+     * @return
+     */
+    Stock addTempCsvStock(const string& code, const string& day_filename,
+                          const string& min_filename, price_t tick = 0.01, price_t tickValue = 0.01,
+                          int precision = 2, size_t minTradeNumber = 1,
+                          size_t maxTradeNumber = 1000000);
+
+    /**
+     * 移除增加的临时Stock
+     * @param code
+     */
+    void removeTempCsvStock(const string& code);
+
+    /**
+     * 获取当前执行线程id，主要用于判断 Strategy 是以独立进程还是线程方式运行
+     */
+    std::thread::id thread_id() const {
+        return m_thread_id;
+    }
+
+    /** 仅由程序退出使使用！！！ */
+    ThreadPool* getLoadTaskGroup() {
+        return m_load_tg.get();
+    }
+
+public:
+    typedef StockMapIterator const_iterator;
+    const_iterator begin() const {
+        return m_stockDict.begin();
+    }
+    const_iterator end() const {
+        return m_stockDict.end();
+    }
+
+private:
+    /* 加载全部数据 */
+    void loadData();
+
+    /* 加载 K线数据至缓存 */
+    void loadAllKData();
+
+    /* 加载节假日信息 */
+    void loadAllHolidays();
+
+    /* 初始化时，添加市场信息 */
+    void loadAllMarketInfos();
+
+    /* 初始化时，添加证券类型信息 */
+    void loadAllStockTypeInfo();
+
+    /* 加载所有证券 */
+    void loadAllStocks();
+
+    /* 加载所有权息数据 */
+    void loadAllStockWeights();
+
+    /** 加载10年期中国国债收益率数据 */
+    void loadAllZhBond10();
+
+    /** 加载历史财经字段索引 */
+    void loadHistoryFinanceField();
+
+private:
+    StockManager();
+
+private:
+    static StockManager* m_sm;
+    std::atomic_bool m_initializing;
+    std::atomic_bool m_data_ready;  // 用于指示是否所有数据准备完毕
+    std::thread::id m_thread_id;  // 记录线程id，用于判断Stratege是以独立进程方式还是线程方式运行
+    string m_tmpdir;
+    string m_datadir;
+    BaseInfoDriverPtr m_baseInfoDriver;
+    BlockInfoDriverPtr m_blockDriver;
+
+    StockMapIterator::stock_map_t m_stockDict;  // SH000001 -> stock
+    std::shared_mutex* m_stockDict_mutex;
+
+    typedef unordered_map<string, MarketInfo> MarketInfoMap;
+    mutable MarketInfoMap m_marketInfoDict;
+    std::shared_mutex* m_marketInfoDict_mutex;
+
+    typedef unordered_map<uint32_t, StockTypeInfo> StockTypeInfoMap;
+    mutable StockTypeInfoMap m_stockTypeInfo;
+    std::shared_mutex* m_stockTypeInfo_mutex;
+
+    std::unordered_set<Datetime> m_holidays;  // 节假日
+    std::shared_mutex* m_holidays_mutex;
+
+    ZhBond10List m_zh_bond10;  // 10年期中国国债收益率数据
+
+    unordered_map<string, size_t> m_field_name_to_ix;  // 财经字段名称到字段索引映射
+    unordered_map<size_t, string> m_field_ix_to_name;  // 财经字段索引到字段名称映射
+
+    Parameter m_baseInfoDriverParam;
+    Parameter m_blockDriverParam;
+    Parameter m_kdataDriverParam;
+    Parameter m_preloadParam;
+    Parameter m_hikyuuParam;
+    StrategyContext m_context;
+
+    std::unique_ptr<ThreadPool> m_load_tg;  // 异步数据加载辅助线程组
+};
+
+inline size_t StockManager::size() const {
+    return m_stockDict.size();
+}
+
+inline bool StockManager::dataReady() const {
+    return m_data_ready;
+}
+
+inline Stock StockManager::operator[](const string& query) const {
+    return getStock(query);
+}
+
+inline const Parameter& StockManager::getBaseInfoDriverParameter() const {
+    return m_baseInfoDriverParam;
+}
+
+inline const Parameter& StockManager::getBlockDriverParameter() const {
+    return m_blockDriverParam;
+}
+
+inline const Parameter& StockManager::getKDataDriverParameter() const {
+    return m_kdataDriverParam;
+}
+
+inline const Parameter& StockManager::getPreloadParameter() const {
+    return m_preloadParam;
+}
+
+inline const Parameter& StockManager::getHikyuuParameter() const {
+    return m_hikyuuParam;
+}
+
+inline const StrategyContext& StockManager::getStrategyContext() const {
+    return m_context;
+}
+
+inline BaseInfoDriverPtr StockManager::getBaseInfoDriver() const {
+    return m_baseInfoDriver;
+}
+
+inline const string& StockManager::getHistoryFinanceFieldName(size_t ix) const {
+    return m_field_ix_to_name.at(ix);
+}
+
+inline size_t StockManager::getHistoryFinanceFieldIndex(const string& name) const {
+    return m_field_name_to_ix.at(name);
+}
+
+inline vector<HistoryFinanceInfo> StockManager::getHistoryFinance(const Stock& stk, Datetime start,
+                                                                  Datetime end) {
+    return m_baseInfoDriver->getHistoryFinance(stk.market(), stk.code(), start, end);
+}
+
+}  // namespace hku
+
+#endif /* STOCKMANAGER_H_ */