文章目录
- 一、哪些情况可能会遇到这个错误?
- 二、为什么会出现这个错误?这个错误说明了什么?
-
- 2.1 HTTPS的简要知识
- 2.2 客户端是如何验证服务器证书的呢?
-
- 2.2.1 常见的证书错误有:
- 三、哪些原因可能会导致证书错误?
-
- 3.1 证书无效报错
-
- 3.1.1 网站使用自签发证书
- 3.1.2 证书和域名不匹配
- 3.2 证书有效报错
-
- 3.2.1 本地计算机缺少合适的根证书
- 3.2.2 本地计算机根证书过期未更新
- 3.2.3 证书链不完整
- 3.2.4 MacOS上python3没有证书列表
- 3.2.5 解析证书的客户端软件问题
- 四、如何解决证书错误?
-
- 4.1 证书无效,替换有效证书
- 4.2 证书有效报证书验证错误的几种解决方案【重要】
-
- 4.2.1 MAC OS安装python根CA证书列表
- 4.2.2 补全证书链
- 4.2.3 更新操作系统根证书库
- 4.2.4 手动将证书添加到根CA证书列表【推荐】
- 4.2.5 手动指定根证书文件【推荐】
- 4.2.6 从其他证书提供机构重新申请证书
- 4.3 屏蔽证书验证【不推荐】
- 五、常见错误情况如何解决?
-
- 5.1 使用urllib或requests类库,可以修改代码
-
- 5.2 pip install安装软件时
- 5.3 setup.py upload上传软件包时
- 5.4 其他错误如何解决
- 六、更多问题
一、哪些情况可能会遇到这个错误?
- 使用urllib.request.urlopen请求https资源时(不限系统)
- 使用requests的get或post方法请求https资源时(不限系统)
- MAC OS中使用上面任意库请求https资源时
- 使用pip install安装软件包时
- 使用setup.py upload 上传软件包到仓库时
- 使用其他python脚本或命令,内部使用了情况1或情况2的相关接口,访问https资源时。
- 使用Python类库请求一些https网站正常,请求另外一些https网站遇到这个错误
二、为什么会出现这个错误?这个错误说明了什么?
要想知道这个错误为什么会出现,是什么导致了这个错误,需要简单了解下SSL和证书的相关知识:
2.1 HTTPS的简要知识
在HTTPS普及之前,大多数网站都使用明文传输的HTTP协议。用户和网站的访问内容,密码等在家庭路由器、小区交换机、公网节点等都是可以被中间人看到、拦截或修改的,即主要存在泄漏、篡改、假冒三大安全问题。
为了解决上面的安全问题,就需要对传输内容进行加密,常规的加密算法包括对称加密和非对称加密,因为对称加密存在秘钥不便传输问题,HTTPS在连接的初始建立阶段使用的是非对称加密算法,加密连接创建后再切换到对称加密算法提高性能。
非对称加密的特点:
- 存在公钥和私钥两个秘钥,一般公钥是任何人都可以拿到的。
- 公钥加密的内容可以用私钥解密,反之亦然。
- 用公钥或私钥加密很简单,但根据密文和公钥破解私钥很难。
HTTPS协议使用的是RSA非对称加密技术。HTTPS通信流程如下:
- TCP三次握手
- 客户端向服务器发起HTTPS请求
- 服务器返回数字证书
- 客户端用本地内置证书验证服务器证书有效性,如果证书无效中断整个流程;证书有效则生成随机值作为对称秘钥,并使用证书加密对称秘钥;
- 客户端把证书加密后的对称秘钥发送给服务器
- 服务器用私钥解密获得对称秘钥,再用对称秘钥加密内容发给客户端
- 客户端收到服务器对称加密的内容,可以正确解密,至此加密连接创建完成。
流程3的服务器证书里面存储的就是网站的公钥。我们遇到的错误就是发生在流程4中,验证证书无效。
更多关于HTTPS的知识
2.2 客户端是如何验证服务器证书的呢?
服务器的证书是包含了网站主要信息、公钥、数字签名等信息的一个文件。
非对称加密只是确保了网络连接的不被窃听和篡改,但包含公钥的证书是谁都可以签发的,那拿到一个百度证书如何确定这个证书就是百度的证书呢?公钥一般几百上千个字符,全球十几亿个网站证书全都记录下来也不现实,所以就提出了另一个概念:CA(Certificate Authority)证书签发机构。客户端和服务器端都信任且保存了CA的证书,作为根证书;如果一个证书是由CA签发的二级证书,那我们可以用CA的证书验证它的有效性;如果服务器的证书是由验证过的二级证书签发的,那么我们也可以验证服务器的证书的有效性;这样的一个逐层验证过程即形成了证书链。
根证书是直接保存在操作系统中的,凡是根证书直接或间接签发的证书都可以信任;按这样的原理,我们可以验证成千上万的网站证书是否有效;截止2020/08,MacOS内置了168个根证书,Windows内置了255个根证书,Chrome和FireFox使用自带的证书库。
需要注意的是,虽然操作系统内置了根证书,但一些软件可能并未使用系统根证书,而是在软件安装时自身带了一些证书作为根证书。(如pythonpython的requests库和pip等库使用包内置的根证书,有些浏览器也使用的内置根证书而非系统根证书),如果电脑装有everything,搜索cacert.pem可以发现很多文件,这些都是各个软件自带的根证书。
此外,**证书链可能不止一条!**计算机本地保存的根证书一般是几十年有效期,由根证书颁发的二级证书一般是几年有效期。如果你的电脑买了有两三年了,有可能出现买的时候根证书还有效,现在根证书过期的情况,从而导致一些网站无法访问。从浏览器访问网站是按浏览器的根证书库形成证书链,浏览器的根证书库由浏览器维护和更新,所以一直显示是正常的。而windows操作系统根证书库由windows更新维护,python ssl使用的是操作系统的根证书库,所以也可能出现浏览器中证书正常,python中报证书过期或无效问题。(PS:Windows10家庭版似乎没有根证书自动更新。。)
虽然服务器部署证书的时候,一般都是部署的完整证书链,但客户端不一定会使用网站提供的证书链;如果服务器证书链的根证书在客户端本地根证书库中不存在,客户端就会从本地根证书库中尝试自己构造一个可信的证书链,构造过程中可能会使用过期的证书。
这是一个中间证书过期的例子
2.2.1 常见的证书错误有:
证书不可信(ERR_CERT_AUTHORITY_INVALID)【最多】
由不可信的CA机构签发的证书,比如自签发的证书,或者操作系统缺失CA根证书。
证书名称不匹配(ERR_CERT_COMMON_NAME_INVALID)
证书是签发给www.baidu.com,但访问的网站是baidu.com,也会出现这个问题。
证书过期(ERR_CERT_DATE_INVALID)
证书有效期到期,或本地时间不正确(根据行业标准,网站SSL证书有效期不能超过398天)
证书被吊销(ERR_CERT_REVOKED)
虚假信息申请得到的证书,或私钥被泄漏,或签发错误等会出现这个情况
一般性SSL错误(ERR_SSL_PROTOCOL_ERROR)
证书部署错误,客户端SSL协议不匹配,证书字段缺失等问题。
三、哪些原因可能会导致证书错误?
根据上面分析,造成证书错误的原因有很多,但笼统的可以分为两类:证书无效报错,证书有效报错。
判断网站证书是否有效建议通过myssl.com,输入网站域名,可以测试出网站安全等级、支持的TLS版本、证书问题、支持浏览器版本等情况。
3.1 证书无效报错
3.1.1 网站使用自签发证书
自签名的证书因为不是由根证书逐层签发的,所以任意一台电脑访问这种网站时都会弹出连接不安全的警告。
现象:这个网站在任意一台电脑访问都会报证书错误。
3.1.2 证书和域名不匹配
证书分为单域名证书和通配符证书;单域名证书需要和网站域名完全匹配才能验证通过,比如申请了www.baidu.com的单域名证书,部署在news.baidu.com上面就会出现证书名称不匹配错误。通配符证书一般是针对主域名申请,如“*.baidu.com”,可以部署在其下所有子域名网站上。
3.2 证书有效报错
3.2.1 本地计算机缺少合适的根证书
现象:其他电脑访问此网站证书有效,此电脑报证书错误。(或通过myssl.com验证网站证书有效)
3.2.2 本地计算机根证书过期未更新
现象:新电脑执行python脚本或命令正常,此电脑浏览器访问证书有效,python脚本显示证书无效。
针对Python ssl的进一步排查方法:
- 查看当前python使用的openssl版本:
>>> import _ssl
>>> _ssl.OPENSSL_VERSION
'OpenSSL 1.1.1g 21 Apr 2020'
- 找到对应Openssl程序
可通过everything搜索,按时间找到:
- 命令提示符打开,请求出错的URL,查看证书链:
openssl s_client -showcerts -connect www.baidu.com:443
从显示的证书链来看,第二个证书R3是let’s encrypt的根证书,第一个DSR Root证书确实于2021年9月到期了,过期了两个月。
而浏览器查看网站的证书链,第一个证书的有效期是从2015年到2035年:
3.2.3 证书链不完整
现象:myssl.com验证网站证书有效(提示证书链不完整),此电脑浏览器访问网站证书有效,部分软件请求网站证书错误。
3.2.4 MacOS上python3没有证书列表
现象:python脚本访问任何https网站均报证书错误。
3.2.5 解析证书的客户端软件问题
现象:通过myssl.com验证网站证书有效,此电脑浏览器访问网站证书有效,但python urlopen或requests访问网站证书错误。
四、如何解决证书错误?
4.1 证书无效,替换有效证书
如果是自签名证书或证书过期等情况,建议申请个有效的证书部署。
收费证书很多,可以找权威机构购买;免费证书可以考虑:
- 申请let’s encrypt的三个月通配符证书;到期前需要重新申请并部署。
- 阿里云的一年SSL单域名证书,一年最多申请20个;过期前需要重新申请部署。
4.2 证书有效报证书验证错误的几种解决方案【重要】
4.2.1 MAC OS安装python根CA证书列表
仅针对苹果系统有效。
pip install --upgrade certifi
然后执行文件:/Applications/Python\ 3.6/Install\ Certificates.command
4.2.2 补全证书链
上面我们提到,网站的证书是否有效是通过操作系统根证书逐层验证的,如果系统缺失了对应的根证书,就可能会出现网站在一些浏览器访问正常,在其他客户端(python脚本、微信浏览器等)报证书错误的现象。
如果myssl.com提示证书错误,可以按上面的修复工具连接,修复证书链不全问题。
证书链修复传送门
一般修复前证书链有2个或三个证书,修复后会多一个;直接将修复后的证书链重新部署到服务器即可。
4.2.3 更新操作系统根证书库
此方法可以解决部分证书错误,一些软件包未使用系统根证书导致的错误仍然无法解决。
- 生成更新根证书列表文件:
D:/
certutil.exe -generateSSTFromWU roots.sst
- 从SST文件导入所有根证书,注意以管理员身份运行Powser Shell:
$sstStore = ( Get-ChildItem -Path D:\roots.sst )
$sstStore | Import-Certificate -CertStoreLocation Cert:\LocalMachine\Root
- 重新进入【管理计算机证书】,查看根证书数量已从200+变成400+
更多关于更新windows证书的介绍
4.2.4 手动将证书添加到根CA证书列表【推荐】
此方法可解决几乎全部使用python ssl包导致的证书错误问题。
此方法适用于客户端较少的情况,如果很多客户端都报证书错误,建议使用下一个方案。
查看python默认使用的根证书文件:
import ssl
ssl.get_default_verify_paths()> DefaultVerifyPaths(cafile='C:\\Program Files\\Common Files\\SSL/cert.pem', capath=None, openssl_cafile_env='SSL_CERT_FILE', openssl_cafile='C:\\Program Files\\Common Files\\SSL/cert.pem', openssl_capath_env='SSL_CERT_DIR', openssl_capath='C:\\Program Files\\Common Files\\SSL/certs')
第一个cafile即当前使用的根证书列表文件,可以去看下这个文件是否存在。我们把证书内容追加到这个文件末尾即可。
如果此文件不存在,可以使用everything搜索“cacert.pem”,找个文件作为默认根证书文件(一般最大的是比较全的),我这里是:C:\Users\lenovo\AppData\Local.certifi\cacert.pem,然后添加环境变量:SSL_CERT_FILE=新的根证书文件绝对路径。
关闭命令提示符重新打开,再执行上面命令,看到cafile变成了我们修改的值即可。
浏览器打开网站,点击地址栏的锁图标,查看证书窗口,切换到证书路径tab,点击第一个根证书,查看证书,打开新证书窗口。
然后点击详细信息,复制到文件,导出证书文件。选择Base64编码X.509格式导出即可。
找到导出的文件,复制全部内容。打开cafile路径,黏贴到最后面,保存即可。
如果添加第一个证书后依然报证书错误,可以继续添加第二个(即二级证书),第三个。我是添加第二个证书后不报错了。
4.2.5 手动指定根证书文件【推荐】
如果客户端代码可以修改,可通过指定根证书的方式验证指定网站的证书:
# urllib
import urllib
urllib.request.urlopen("https://example.com/some/info", cafile="ca.pem")# requests
requests.get('https://www.baidu.com', cert='ca.pem')
4.2.6 从其他证书提供机构重新申请证书
证书有效,但报证书错误一般都是因为根证书或中间证书的缺失或过期。所以从其他证书机构重新申请证书的话,对应的根证书和中间证书会发生变化,自然可解决证书错误问题。
一般来说,越权威的证书机构,出现证书错误的可能性越小。
4.3 屏蔽证书验证【不推荐】
适用于:证书有效报错,证书无效报错。
既然是证书验证失败导致的错误,当然可以跳过验证环境,直接默认所有证书都有效,但这相当于恢复了HTTP,存在很大安全风险,如果可通过其他方法解决,尽量不要使用此方法。
屏蔽证书验证也可以有很多级别,操作系统全局屏蔽,本进程屏蔽,本次请求屏蔽等。
屏蔽本次请求的证书验证
# 针对urllib
import ssl
context = ssl._create_unverified_context()
urllib.urlopen('https://www.baidu.com', context=context)# 针对python3 urllib
ctx = ssl.create_default_context()
ctx.check_hostname = False
ctx.verify_mode = ssl.CERT_NONE
urllib.urlopen('https://www.baidu.com', context=ctx)# 针对requests
requests.get('https://www.baidu.com', verify=False)
屏蔽本进程的证书验证(一般用在进程启动时)
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
屏蔽操作系统所有python进程的证书验证(不推荐,疑似仅对python2生效)
设置环境变量:PYTHONHTTPSVERIFY=0
测试对python3.6, 3.8均不生效,疑似仅对python2生效。
五、常见错误情况如何解决?
上面提出了一些解决方法,但具体到各种场景,可能需要使用不同的方法。如果已确认证书有效,依然报证书错误,下面几种情况可以考虑用对应的方法:
5.1 使用urllib或requests类库,可以修改代码
建议使用手动指定根证书文件方法,简单快速。
5.2 pip install安装软件时
可以通过pip install –trusted-host pypi.python.org [packagename] 的方式指定为信任站点
也可能是pip版本太低,pypi.python.org不支持TLS1.0和TLS1.1协议,也可以尝试升级pip版本
5.3 setup.py upload上传软件包时
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: certificate has expired (_ssl.c:1123)
如果部署了私有pip仓库,通过https访问,上传软件包时出现这个错误。因为内部是setuptools调用的urllib,无法修改源代码。建议使用手动将证书添加到根CA证书列表的方法。
我就是这种情况。部署的pip仓库,浏览器访问证书有效,通过let’s encrypt申请的通配符证书。但使用的conda python3.8环境,上传软件包时报证书错误。测试了在python3.7 3.8 3.9 3.10中均会报错,在3.6中不报错;搜索一些文档说3.6的ssl验证会更宽松一些。
我使用urllib单独请求我的pip站点也复现了证书错误,但请求baidu.com证书没问题;通过添加ISRG ROOT X1和R3的证书到根证书文件后这个错误没有了。
5.4 其他错误如何解决
具体错误情况不同,可能的原因和解决方案也不相同,可以按是否能修改源代码等情况,逐个尝试上面的解决方法。
如果上面的方法都无法解决,建议优先搜索Stack Overflow或者google上的相关资源。
百度上的相关文章大都类似,且不够系统专业,常见问题还好,一些不常见问题很难找到解决方案。
六、更多问题
系统中过期的证书可以删除么?
永远不要删除过期证书,系统使用过期证书来保证向后兼容性,参考
免费证书和收费证书的区别
请看这篇文章
参考文章:
https://stackoverflow.com/questions/27835619/urllib-and-ssl-certificate-verify-failed-error
https://xiu2.net/it/details/6137680a61da421d645b8f01
https://coderedirect.com/questions/154225/certifacte-verify-failed-certificate-has-expired-ssl-c1108
http://woshub.com/updating-trusted-root-certificates-in-windows-10/