摘要:多任务编程 意义:充分利用计算机的资源提高程序的运行效率 定义:通过应用程序利用计算机多个核心,达到同时执行多个任务的目的 实施方案: 多进程、多线程 并行:多个计算机核心并行的同时处理多个任务 并发:内核在多个任务间不断切换,达到好像内核在同时处理多个任务的运行效果 进程:程序在计算机中运行一次的 阅读全文
posted @ 2019-09-16 15:21 凌逆战 阅读 (138) 评论 (0) 编辑
摘要:网络编程 网络目的 : 数据的传输 网络数据传输是一个复杂的过程 OSI 七层模型 --》 网络通信标准化流程 应用层 : 提供用户服务,具体内容由特定程序规定 表示层 : 数据的压缩优化 会话层 : 建立应用连接,选择传输层服务 传输层 : 提供不同的传输服务,流量控制 网络层 : 路由选择,网络 阅读全文
posted @ 2019-09-15 19:00 凌逆战 阅读 (205) 评论 (0) 编辑
摘要:这篇博客不是一篇讲解原理的博客,这篇博客主要讲解tnesorlfow的RNN代码结构,通过代码来学习RNN,以及讲解time_steps,如果这篇博客没有让你明白time_steps,欢迎博客下面评论交流。 我曾翻阅各大网站,各大博客,他们的对RNN中time_steps的讲解,都没有一个让人醍醐灌 阅读全文
posted @ 2019-09-15 11:10 凌逆战 阅读 (125) 评论 (0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2019-09-13 16:48 凌逆战 阅读 (6) 评论 (0) 编辑
摘要:支持向量机原理 支持向量机要解决的问题其实就是寻求最优分类边界。且最大化支持向量间距,用直线或者平面,分隔分隔超平面。 基于核函数的升维变换 通过名为核函数的特征变换,增加新的特征,使得低维度空间中的线性不可分问题变为高维度空间中的线性可分问题。 线性核函数:linear,不通过核函数进行维度提升, 阅读全文
posted @ 2019-09-12 11:46 凌逆战 阅读 (114) 评论 (0) 编辑
摘要:信噪比(SNR) 有用信号功率与噪声功率的比(此处功率为平均功率),也等于幅度比的平方 $$SNR(dB)=10\log_{10}\frac{\sum_{n=0}^{N-1}s^2(n)}{\sum_{n=0}^{N-1}d^2(n)}=10*\log_{10}(\frac{P_{signal}}{ 阅读全文
posted @ 2019-09-11 17:02 凌逆战 阅读 (238) 评论 (1) 编辑
摘要:爬取网站的思路 多级页面数据抓取 1、爬取一级页面,提取所需数据+链接,继续跟进 2、爬取二级页面,提取所需数据+链接,继续跟进 3、... 爬虫代码规范书写: 常见的反爬总结 基于User-Agent反爬 一般被关注的变量是userAgent和Referer和Cookie,可以考虑用浏览器中 1、 阅读全文
posted @ 2019-09-11 08:45 凌逆战 阅读 (290) 评论 (0) 编辑
摘要:人工分类 特征1>特征2 输出 0 特征1<特征2 输出 1 案例: 逻辑分类 通过输入的样本数据,基于多元线型回归模型求出线性预测方程。 $$y=w_0+w_1x_1+w_2x_2$$ 但通过线型回归方程返回的是连续值,不可以直接用于分类业务模型,所以急需一种方式使得把连续的预测值->离散的预测值 阅读全文
posted @ 2019-09-10 15:01 凌逆战 阅读 (120) 评论 (0) 编辑
摘要:Fiddler抓包工具 配置Fiddler 配置浏览器代理 1、安装Proxy SwitchyOmega插件2、浏览器右上角:SwitchyOmega->选项->新建情景模式->AID1901(名字)->创建 输入 :HTTP:// 127.0.0.1 8888 点击 :应用选项3、点击右上角Swi 阅读全文
posted @ 2019-09-09 16:23 凌逆战 阅读 (356) 评论 (0) 编辑
摘要:应用场景 1、多进程 :CPU密集程序2、多线程 :爬虫(网络I/O)、本地磁盘I/O 知识点回顾 队列 线程模块 小米应用商店抓取(多线程) 目标 实现步骤 1、确认是否为动态加载 1、页面局部刷新 2、右键查看网页源代码,搜索关键字未搜到,因此此网站为动态加载网站,需要抓取网络数据包分析 2、F 阅读全文
posted @ 2019-09-09 09:54 凌逆战 阅读 (370) 评论 (4) 编辑
摘要:线性回归 输入x:0.5 0.6 0.8 1.1 1.4 输出y:5.0 5.5 6.0 6.8 7.0 $w_0$和$w_1$是模型参数预测函数:$y=w_0+w_1 x$ 所谓模型训练,就是根据已知的x和y,找到最佳的模型参数$w_0$和$w_1$,尽可能精确地描述出输入和输出的关系。 5.0 阅读全文
posted @ 2019-09-08 15:52 凌逆战 阅读 (31) 评论 (0) 编辑
摘要:Web自动化测试工具,可运行在浏览器,根据指令操作浏览器,只是工具,必须与第三方浏览器结合使用,相比于之前学的爬虫只是慢了一点而已。而且这种方法爬取的东西不用在意时候ajax动态加载等反爬机制。因此找标签可以直接F12找,不用确定源码中是否存在。 安装 Linux: sudo pip3 instal 阅读全文
posted @ 2019-09-08 01:14 凌逆战 阅读 (216) 评论 (1) 编辑
摘要:scrapy框架是异步处理框架,可配置和可扩展程度非常高,Python中使用最广泛的爬虫框架。 安装 Ubuntu安装 1、安装依赖包 2、安装scrapy框架 Windows安装 cmd命令行(管理员): python -m pip install Scrapy Scrapy框架五大组件 下载器中 阅读全文
posted @ 2019-09-07 16:20 凌逆战 阅读 (159) 评论 (1) 编辑
摘要:cookie适用于抓取需要登录才能访问的页面网站 cookie和session机制 http协议为无连接协议,cookie: 存放在客户端浏览器,session: 存放在Web服务器 人人网登录案例 方法一:登录网站手动抓取Cookie 1、先登录成功1次,获取到携带登陆信息的Cookie 登录成功 阅读全文
posted @ 2019-09-06 16:19 凌逆战 阅读 (251) 评论 (0) 编辑
摘要:正则解析模块re re模块使用流程 方法一 r_list=re.findall('正则表达式',html,re.S) 方法二 创建正则编译对象 pattern = re.compile('正则表达式',re.S)r_list = pattern.findall(html) 正则表达式元字符:http 阅读全文
posted @ 2019-09-06 09:07 凌逆战 阅读 (247) 评论 (0) 编辑
摘要:算法原理 用一句话总结决策树的核心思想:相似的输入必会产生相似的输出。 例如预测某人薪资: 年龄:1-青年,2-中年,3-老年 学历:1-本科,2-硕士,3-博士 经历:1-出道,2-一般,3-老手,4-骨灰 性别:1-男性,2-女性 为了提高搜索效率,使用树形数据结构处理样本数据: $$年龄=1\ 阅读全文
posted @ 2019-09-06 09:04 凌逆战 阅读 (115) 评论 (0) 编辑
摘要:控制台抓包 打开方式及常用选项 1、打开浏览器,F12打开控制台,找到Network选项卡 2、控制台常用选项 1、Network: 抓取网络数据包 1、ALL: 抓取所有的网络数据包 2、XHR:抓取异步加载的网络数据包 3、JS : 抓取所有的JS文件 2、Sources: 格式化输出并打断点调 阅读全文
posted @ 2019-09-05 08:48 凌逆战 阅读 (220) 评论 (0) 编辑
摘要:常见的反爬机制及处理方式 1、Headers反爬虫 :Cookie、Referer、User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2、IP限制 :网站根据IP地址访问频率进行反爬,短时间内进制IP访问 解决方案: 1、构造自己IP代理池,每次访 阅读全文
posted @ 2019-09-04 19:49 凌逆战 阅读 (376) 评论 (2) 编辑
摘要:网络爬虫也称为网络蜘蛛、网络机器人,抓取网络的数据。其实就是用Python程序模仿人点击浏览器并访问网站,而且模仿的越逼真越好。一般爬取数据的目的主要是用来做数据分析,或者公司项目做数据测试,公司业务所需数据。而数据来源可以来自于公司内部数据,第三方平台购买的数据,还可以通过网络爬虫爬取数据。pyt 阅读全文
posted @ 2019-09-03 10:15 凌逆战 阅读 (56) 评论 (0) 编辑
摘要:字符串常用方法 csv模块 作用:将爬取的数据存放到本地的csv文件中 使用流程 Windows中使用csv模块默认会在每行后面添加一个空行,使用newline=''可解决 with open('xxx.csv','w',newline='') as f: 猫眼电影top100抓取案例 确定URL网 阅读全文
posted @ 2019-09-03 09:35 凌逆战 阅读 (39) 评论 (0) 编辑
摘要:地址和请求头参数--url和header res = requests.get(url,headers=headers) 向网站发起请求,并获取响应对象 参数 url :需要抓取的URL地址 headers : 请求头 timeout : 超时时间,超过时间会抛出异常 响应对象(res)属性 enc 阅读全文
posted @ 2019-09-02 14:50 凌逆战 阅读 (175) 评论 (0) 编辑
摘要:数据预处理 数据预处理的过程: 输入数据 -> 模型 -> 输出数据 如下图所示为数据样本矩阵,则一行一样本,一列一特征。机器学习中有一个数据预处理的库,是一个解决机器学习问题的科学计算工具包 sklearn.preprocessing。 均值移除(标准化) 由于一个样本的不同特征值差异较大,不利于 阅读全文
posted @ 2019-09-01 14:24 凌逆战 阅读 (77) 评论 (1) 编辑
摘要:MNIST手写数字集 MNIST是一个由美国由美国邮政系统开发的手写数字识别数据集。手写内容是0~9,一共有60000个图片样本,我们可以到MNIST官网免费下载,总共4个.gz后缀的压缩文件,该文件是二进制内容。 train-images-idx3-ubyte.gz: training set i 阅读全文
posted @ 2019-07-19 17:37 凌逆战 阅读 (108) 评论 (0) 编辑
摘要:在看这两个函数之前,我们需要先了解一维卷积(conv1d)和二维卷积(conv2d),二维卷积是将一个特征图在width和height两个方向进行滑动窗口操作,对应位置进行相乘求和;而一维卷积则只是在width或者height方向上进行滑动窗口并相乘求和。 一维卷积:tf.layers.conv1d 阅读全文
posted @ 2019-07-19 17:36 凌逆战 阅读 (345) 评论 (1) 编辑
摘要:Git简介 git是一个开源的分布式版本控制系统,用于高效的管理各种大小项目和文件的代码管理工具。 2. 代码管理工具的用途 3. git的特点 4. git安装 sudo apt-get install git 基本概念 工作区workspace: 项目所在操作目录,实际操作项目的区域 暂存区in 阅读全文
posted @ 2019-07-18 19:49 凌逆战 阅读 (321) 评论 (0) 编辑
摘要:引言 文本处理已经成为计算机常见工作之一, 对文本的搜索、定位、提取的逻辑往往比较复杂, 为了解决上述问题,产生正则表达式技术 正则表达式即文本的高级匹配模式,提供搜索,替代,获取等功能。本质是由一系列特殊符号和字符构成的自串,这个自串就是正则表达式。 正则表达式能够方便地进行检索和修改等文本操作; 阅读全文
posted @ 2019-07-15 17:58 凌逆战 阅读 (407) 评论 (0) 编辑
摘要:Linux命令格式:命令名 选项 参数 Linux 刚面世时并没有图形界面,所有的操作全靠命令完成,如 磁盘操作、文件存取、目录操作、进程管理、文件权限 设定等,在职场中,大量的服务器维护工作都是在远程通过SSH 客户端来完成的,并没有图形界面,所有的维护工作,都需要通过命令来完成,在职场中,作为后 阅读全文
posted @ 2019-07-14 17:19 凌逆战 阅读 (221) 评论 (0) 编辑
摘要:引言 对于传统的深度学习网络应用来说,网络越深,所能学到的东西越多。当然收敛速度也就越慢,训练时间越长,然而深度到了一定程度之后就会发现越往深学习率越低的情况,甚至在一些场景下,网络层数越深反而降低了准确率,而且很容易出现梯度消失和梯度爆炸。 这种现象并不是由于过拟合导致的,过拟合是在训练集中把模型 阅读全文
posted @ 2019-07-06 15:37 凌逆战 阅读 (227) 评论 (0) 编辑
摘要:TCP服务端(以字节串传输信息) import socket 1、创建套接字 sockfd = socket.socket(socket_family = AF_INET,socket_type = SOCK_STREAM,proto = 0) 功能:创建一个IPv4的流式套接字,括号中的创建IPv 阅读全文
posted @ 2019-07-06 08:44 凌逆战 阅读 (102) 评论 (0) 编辑
摘要:sys.argv 在终端运行python 1.py hahah argparse Python的命令行解析模块,这是一个python的内置库,通过在程序中我们定义好的参数,argparse将会从sys.argv中解析出这些参数,并自动生成帮助和使用信息。 argparse的简单使用 创建Argume 阅读全文
posted @ 2019-07-06 08:34 凌逆战 阅读 (139) 评论 (0) 编辑
摘要:2014斯坦福机器学习视频 百度云链接: http://www.ib765.com/s/10XxZi99S7VyvWt67lZ3CPg 密码: 3i78 深度学习机器学习基础教程 百度云链接: http://www.ib765.com/s/1lrqA_qoNk-eXRbht6Q6ULw 密码: 阅读全文
posted @ 2019-07-05 19:21 凌逆战 阅读 (155) 评论 (0) 编辑
摘要:glob模块 说明: 1、glob是python自己带的一个文件操作相关模块,用它可以查找符合自己目的的文件,就类似于Windows下的文件搜索, 支持通配符操作 *、?、[] 这三个通配符,*代表0个或多个字符,?代表一个字符,[]匹配指定范围内的字符,如[0-9]匹配数字。 glob.glob( 阅读全文
posted @ 2019-07-01 09:59 凌逆战 阅读 (90) 评论 (0) 编辑
摘要:滤波器的技术指标 $\omega _p$:通带截止频率 $\omega _s$:阻带截止频率 $\delta_p$:通带波动 $\delta_s$:阻带波动 衰减单位是db 巴特沃斯滤波器 butterworth低通滤波器的频域特性 $$|H(jw)|^2=\frac{1}{1+(\frac{\om 阅读全文
posted @ 2019-05-29 22:14 凌逆战 阅读 (250) 评论 (0) 编辑
摘要:插值interpolate模块 计算插值有两个基本方法: 1、对一个完整的数据集去拟合一个函数(一条线穿过所有数据集的点) 2、对数据集的不同部分拟合出不同的函数,而函数之间的曲线平滑对接 一维插值 x和y参数是一系列已知的数据点,kind参数是插值类型,可以是字符串或整数, 样条插值 样条插值需要 阅读全文
posted @ 2019-04-10 16:29 凌逆战 阅读 (49) 评论 (0) 编辑
摘要:采样频率: 每秒从连续信号中提取并组成离散信号的采样个数。用Hz表示,采样频率的倒数是采样周期,即采样之间的时间间隔。 通俗的讲:采样频率是指计算机每秒钟采集的多少声音样本。采样频率越高,即采样的间隔时间越短,则在单位时间内计算机得到的声音样本数据就越多,对声音波形的表示也越精确。 采样定理 也称作 阅读全文
posted @ 2019-03-29 10:46 凌逆战 阅读 (197) 评论 (0) 编辑
摘要:Makefile简介 很多大型项目的编译都是通过Makefile来组织各种库和代码之间的依赖关系。Makefile不仅可以用来编译项目还可以用来组织我们一些日常操作。 Makefile是和make命令一起配合使用的,Makefile就像shell脚本一样,同时执行操作系统的命令。 Makefile的 阅读全文
posted @ 2019-03-26 19:19 凌逆战 阅读 (34) 评论 (0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2019-03-25 10:00 凌逆战 阅读 (32) 评论 (0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2019-03-06 17:22 凌逆战 阅读 (71) 评论 (0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2019-03-01 17:33 凌逆战 阅读 (23) 评论 (0) 编辑
摘要:语音信号的预处理 语音信号的频带范围通常是300~3400Hz,866sun.com:一般情况下取采样率为8kHz,本博客的部分代码采用的是已经数字化了的语音。 预加重 预加重的目的是为了对语音的高频部分进行加重,去除口唇辐射的影响,增加语音的高频分辨率。 一般通过使用一阶FIR高通数字滤波器来实现预加重,滤波器函数为: 阅读全文
posted @ 2019-02-28 20:33 凌逆战 阅读 (85) 评论 (0) 编辑
江山广东11选5时时彩开奖记录 澳门赌场VR3分彩时时彩平台怎么样 通博娱乐下载游戏 皇家赌场YG电子官方网 澳门嫖娼地点网上娱乐场
如意EB棋牌 sblive13.com 92suncity.com 63sbc.com 澳门网上赌场MW
琼粤对战 玛雅棋牌上网导航 888真人棋牌app 财富棋牌外围 金沙娱乐AG捕鱼
九五至尊游戏支付宝充值 环亚SW www.100msc.com 钱柜乐游棋牌 博世界棋牌导航