登录站点

用户名

密码

注册

兴趣联盟 - 交易系统实现及开发

  • gats

    数据科学之江湖兵器谱

    gats 2016-10-11 07:44
    数据江湖,风起云涌。各路英豪,群雄逐鹿。

    这是一个数据科学最好的时代,也是数据江湖最乱的时代。

    那么在这么一个特殊的江湖里面浪,有什么兵器是值得我们去关注的呢?这篇文章列举了一些常用方法(刀剑),并不涵盖工具与平台。就先让我们一起去看看这个排名不分先后左右的兵器谱。

    数据科学家Vincent Granville博士发表博文列举了数据科学家常用的45种技术。这是个很适合初学者去逐个了解的列表。当然,这并不代表数据科学(统计学)的全部。虽然他并没有提出自己的详细总结,但是有志于学习数据科学的同学不妨初步有个印象,有不太熟悉的topic可以进一步去了解一下。另外我在后面也补充了我认为也值得学习的领域,很多人都会在日常的数据实践中用到。多学有益于身心健康。

    首先需要说明的是,这些技术只是大概涵盖了大部分数据科学家以及相关领域的实践者日常用的方法。这一般意味着他们或使用第三方的解决方案(比如R和Python里面提供的相关package),或者自己需要调整或者重新设计合适的工具。    

    废话少说,列举如下:

        1. 线性回归     Linear Regression
        2. 逻辑回归     Logistic Regression 
        3. 刀切回归     Jackknife Regression *
        4. 密度估计     Density Estimation 
        5. 置信区间     Confidence Interval 
        6. 假设检验     Test of Hypotheses 
        7. 模式识别     Pattern Recognition 
        8. 聚类(或者无监督学习)        Clustering - (aka Unsupervised Learning)
        9. 有监督学习    Supervised Learning 
        10. 时间序列分析    Time Series 
        11. 决策树    Decision Trees 
        12. 随机数    Random Numbers 
        13. 蒙特卡洛模拟    Monte-Carlo Simulation 
        14. 贝叶斯统计    Bayesian Statistics 
        15. 朴素贝叶斯    Naive Bayes 
        16. 主成分分析    Principal Component Analysis - (PCA)
        17. 联合学习方法    Ensembles 
        18. 神经网络        Neural Networks 
        19. 支持向量机    Support Vector Machine - (SVM)
        20. 最近邻方法    Nearest Neighbors - (k-NN)
        21. 特征选择(变量削减)    Feature Selection - (aka Variable Reduction)
        22. 指数化(编目化)Indexation / Cataloguing *
        23. 空间统计建模(时空统计)(Geo-) Spatial Modeling 
        24. 推荐引擎    Recommendation Engine *
        25. 搜索引擎    Search Engine *
        26. 归因模型    Attribution Modeling *
        27. 协同过滤    Collaborative Filtering *
        28. 规则系统    Rule System 
        29. 连锁分析    Linkage Analysis 
        30. 关联规则    Association Rules 
        31. 打分引擎    Scoring Engine 
        32. 分割(特指数据分割)Segmentation 
        33. 预测建模    Predictive Modeling 
        34. 图数据分析    Graphs 
        35. 深度学习        Deep Learning 
        36. 博弈论        Game Theory 
        37. 数据填充        Imputation 
        38. 生存分析        Survival Analysis 
        39. 统计套利        statistical Arbitrage 
        40. 推举建模        Lift Modeling 
        41. 产量优化        Yield Optimization
        42. 交叉验证        Cross-Validation
        43. 模型拟合        Model Fitting
        44. 关联算法那    Relevancy Algorithm *
        45. 实验设计        Experimental Design

    以上是Granville博士的观点。

    以我自己的经验,一般数据科学家并不会涉及这上面的所有方法,而且很多重要的技术也没有在上面出现,比如在我的观点中,一下对于日常的数据战场特别有帮助的武功

    a 凸优化(convex analysis)
    b 组合优化(combinatorial optimization)
    c 半监督学习 (semi-supervised learning)
    d 采样(sampling)
    e 强化学习 (reinforcement learning)
    f 自组织映射 (self-organized map)
    g 独立成分分析 (ICA)
    h 降维    (dimensioin reduction)
    i 最大似然估计 (MLE)
    j 通用核方法 (general kernal method)
    k 模型选择 (model selection)
    l 样条方法 (spline method)
    m 正则化 (regularization)
    n 归一化 (normalization)
    o 经验贝叶斯 (empirical bayes)
    p EM算法 (EM algorithm)
    q 变分发 (variational method)
    r 图模型    (graphical models)
    s 可视化    (visualization)
    t 高斯混合模型    (Gaussian mixture models)
    u 异常检测(abnormity/outlier detection)
    v 方差分析 (ANOVA)
    w 遗传算法 (genetic algorithm) 
    x 算法表现评估 (algorithm performance evaluation)
    y 计算机视觉主流方法 (computer vision)
    z 自然语言处理主流方法 (Natural language processing)

    天下功夫,万变不离其宗。所有的套路与武器,都是为了在数据的海洋里面寻找到目标问题的解药。方法无所谓高低,招数无所谓贵贱。能够达成你的目标的,就是最适合你当下的武器。

    希望这些对大家的数据实践有所帮助。


    参考:
    http://www.datasciencecentral.com/profiles/blogs/40-techniques-used-by-data-scientists
你还不是该群组正式成员,不能参与讨论。 现在就加入