数据科学
黄国甫 · 共 33 篇文章
@DS注解在 @PostConstruct 事件中失效的问题解决
代码如下: @Service("ttasWrOtherfeeService") @DS("dmnn") public class TteeServiceImpl extends ServiceImpl<TtaeDao, TteEntity> implements TteeService { @PostConstruct public void initDict(){ List<TteEntity> list = this.list(); …… } 发现@DS("dmnn") 其实没有生效,还是用了默认的数据源; 解决后的代码如下: @Service("ttasWrOtherfeeServic…
2020-12-11 15:07 · 评论(0)
windows 下安装的mysql 寻找my.ini文件
在百度上搜了一下没有找到靠谱的答案,后在谷歌上搜到了正确的答案,具体参考https://blog.sqlauthority.com/2014/01/07/mysql-locate-the-configuration-file-my-ini-or-my-cnf-on-windows-platform/ 简单的说,就是在访问“电脑--管理--服务--mysql--属性”
2020-11-23 10:41 · 数据库 · 评论(0)
21种回归算法整理
回归分析是预测建模技术的一种形式,它研究因变量(目标)与自变量(预测变量)之间的关系 。该技术用于预测,时间序列建模以及查找变量之间的因果关系。例如,通过回归研究逃课次数与期末成绩的关系。 线性和逻辑回归通常是人们在数据科学中学习的第一个算法。由于它们的流行,许多分析师甚至最终认为它们是回归的唯一形式。参与程度稍高的人都知道它们是所有形式的回归分析中最重要的。 事实是,可以执行无数种形式的回归。每种形式都有其自身的重要性和最适合应用的特定条件。在本文中,将介绍其中的21种回归算法: 1.简单线性回归(Simple Linear Regression ) 2.逻辑回归(Logistic reg…
2020-10-20 10:42 · 数据科学 · 评论(0)
pydotplus.graphviz.InvocationException: 报错解决
环境是windows 报错信息: pydotplus.graphviz.InvocationException: Program terminated with status: 1. stderr follows: Format: "png" not recognized. Use one of: 解决办法:打开命令行窗口,输入:dot -c 回车 再输入dot -v 查看是否注册完成。 具体的参考的是 https://stackoverflow.com/questions/35688320/graphviz-seems-doesnt-support-png-and-map
2020-10-16 17:32 · python编程 · 评论(0)
python 重新加载类
有时候我们需要重新加载python类,比如代码执行到一半了,想改代码,然后执行下一步,尤其是在命令行窗口中,如果不重新加载,改了某个类的代码后,调用这个类,它并不会更新为最新的版本,这时就需要重新加载。 代码如下: from importlib import reload import crawler.etao reload(crawler.etao) from crawler.etao import taobao_infos #以下的c对象就是最新版本的对象 c = taobao_infos(chromedriver_path) #通过赋值,实现c是最新的代码,并且保留原来的数据和类状态 …
2020-07-15 10:55 · python编程 · 评论(0)
决策树算法简介一(算法目录)
最近在看一些决策树的算法,准备留点文字备忘;涉及的算法包括: ID3 C4.5 C5.0 CART random forest XGBOOST Catboost LightGBM 本文给出目录,后续文章将给出各个算法的单独介绍,未完待续……
2020-03-05 10:40 · 数据科学 · 评论(0)
基于机器学习(machine learning)的SEO实战日记6--训练集准备
有了关键词列表和关键词的词频后,我们接下来就可以着手准备训练数据集,以下是训练集的定义: |表名:seo_train| |表中文名:热词训练集表 | |字段名称|字段类型|字段解释| |keywords|varchar(100)|关键词| |rw_url |varchar(1000) |关键词所在url| |title_score |decimal(8,4) |在title中出现的次数| |keyword_score |decimal(8,4) |在keywords中出现的次数| |description_score |decimal(8,4)| 在description中出现的次数| |o…
2020-01-10 10:06 · 基于机器学习的SEO实战日记 · 评论(0)
基于机器学习(machine learning)的SEO实战日记5--分词与词频计算
经过运行抓取程序,抓到的数据网站数量为4305个,接下来,需要进行分词处理,分词后,再统计词出现的次数,词出现的次数一部分提现了本类网站中该次的竞争情况。分词使用的hanlp开源项目,关于该开源项目的引用与使用,此处不详细介绍,读者可以访问 https://github.com/hankcs/HanLP了解详情。本篇博客涵盖的内容包括:分词、统计词频、结果保存数据库。表结构和相关代码如下: |表名:relative_hotwords| |表中文名:相关热词信息表| |字段名称|字段类型|字段解释| |keywords|varchar(100)|关键词| |rh_times|int|出现次数|…
2019-12-30 14:40 · 基于机器学习的SEO实战日记 · 评论(0)
java.security.NoSuchAlgorithmException: SunTls12RsaPremasterSecret KeyGenerator
参考了https://www.iteye.com/blog/jianglv17-126-com-2368947 和 https://stackoverflow.com/questions/2872520/suntlsrsapremastersecret-keygenerator-not-available/37615152的解决过程; 实际的解决方法就是: java -Djava.ext.dirs=./ com.hgf.seo.DataPrepare 改为: java -Djava.ext.dirs=./ -classpath "C:\Program Files\Java\jdk1.8.0_…
2019-12-16 17:08 · java编程备忘 · 评论(0)
基于机器学习(machine learning)的SEO实战日记4--数据抓取
一、创建数据表 |表名:relative_web| |表中文名:网站信息表| |字段名称 |字段类型| 字段解释| |keywords |varchar(100)| 关键词| |source_domain |varchar(200)| 网站域名| |rw_title |varchar(1000) |搜索引擎给出的网站标题| |rw_url| varchar(1000)| 搜索引擎给出的网站url| |rw_description| varchar(5000) |搜索引擎给出的网站标题| |rw_position| int| 搜索引擎中的排名| 对应于mysql的建表语句: Create ta…
2019-12-12 11:13 · 基于机器学习的SEO实战日记 · 评论(0)
基于机器学习(machine learning)的SEO实战日记3--构思
在明确了切入点以后,就可以着手开发了,但在动手之前,还需要理清思路,好让我们的每一步都方向明确的,避免在迷茫中胡乱写代码。所以本篇的任务是梳理思路,包括明确目标、确定所需的资源、主要的实现步骤; 一、 目标: 观察Searchviu网站中给出的案例,可以知道,它的目标是找出可以让网页排名进谷歌前十的热词,同时找出该词应该在的位置。当然这也可以作为我们的目标,简单的说,我们的目标就是百度SEO,提升网站排名,SEO的目的是提升网站流量;为了实现这个目标,我们需要“找出访问量大,竞争又不激烈的词” (看上去像是矛盾的) 。 二、 资源: 做SEO,当然需要有个网站,网站由域名、服务器、web应用…
2019-12-05 11:11 · 基于机器学习的SEO实战日记 · 评论(0)
基于机器学习(machine learning)的SEO实战日记2--寻找切入点
首先我们需要找一个切入点,一个如何应用ML来做SEO的切入点。要找切入点,就需要有一个寻找的方法;寻找的方法很简单,就是通过网络搜索,找出相关的文章和案例;在谷歌(如果打不开谷歌可以去http://51msg.net)中输入关键词 machine learning seo,搜出很多的结果, 经过艰苦的阅读和寻找,从几十个结果中剔除无关网页信息后,发现相关的有用信息包括如下: 基于聚类算法,分析seo可能的影响因素不仅分析排名的影响因素,主要分析点击、点击率的影响因素;待选的影响因素包括tilte长度、meta description长度、排名、曝光量等,对应的参考网址是:https://wo…
2019-12-02 09:43 · 基于机器学习的SEO实战日记 · 评论(0)
基于机器学习(machine learning)的SEO实战日记1--序言
人工智能是当下非常热门的技术,也是未来的趋势;而机器学习(Machine Learing,后文简称ML)目前是人工智能领域中最为热门的分支,利用ML可以解决很多实际的问题,其中包括SEO问题,用ML解决SEO是近年来的兴起的一项热门技术应用,在网上找了相关的中文资料,没有找到实战干货,所以准备自己学习,同时记录下学习过程,生成实战日记以填补网络上这方面的知识空白。本文将遵循只讲干货,不讲虚无缥缈让人费解的长篇大论,只讲可操作的实战和浅显理论,不讲晦涩难懂的理论;所有的实战过程,将给出操作步骤(step by step);通过阅读本系列战记,读者可以少走弯路,快速通过ML技术实现网页SEO(搜…
2019-12-02 09:30 · 基于机器学习的SEO实战日记 · 评论(0)
总算拿回了账号
1月16日,收到邮件说我的账号自动迁移到了csdn,登录csdn发现私有文章没有迁过来,又登陆不了iteye。真是令人失望,今天试了下登录iteye,结果可以登录,总算拿回了账号!
2019-11-25 17:10 · 评论(0)
特征选择-weka搜索函数
由于笔者水平限制,本文可能晦涩难懂,特此向阅读本编文章的朋友们表示歉意! weka3.8.1中关于特征选择的搜索函数有3个类,分别是Ranker,GreedyStepwise,BestFirst,这3个类的作用是配合评估函数,将训练数据集中的特征进行筛选、排序。以下是笔者对于这3个类的个人理解,如有错误之处望发现的朋友予以批评指正。 总的来说Ranker速度最快,如果不考虑特征间的关系,可以考虑使用它,比如朴素贝叶斯算法;GreedyStepwise速度次之,如果资源有限,又要考虑特征间的关系,比如逻辑回归、决策树,建议用GreedyStepwise;如果资源较多,又要考虑特征间的关系,建议…
2018-04-11 11:17 · 数据科学 · 评论(0)