Posts

Python 中文分词库 jieba 中 HMM 模型及其 viterbi 算法详解

HMM 模型在 jieba 分词流程中的作用 jieba 在经过第一轮以已知词典为基础的分词之后，默认会通过 HMM 模型（隐马尔可夫模型）对第一轮分词后产生的连续的独立单字进行概率拼词，来完成对于未知词（OOV）的预测。 HMM 模型的思路是，通过概率计算为每一个字打上一个位置标签，位置标签有以下四种： B: 即 Begin，意为词的开头 M: 即 Middle，意为词的中间 E: 即 End，意为词的结尾 S: 即 Single，意为单字成词 HMM 模型的核心依托于 viterbi 算法实现注：为了避免极小 float 概率数值连乘导致下溢，无法比较浮点数大小，所以在计算时全部采用的是对数概率和替代概率连乘进行运算。下文中对数概率统一简写为概率，不再进行额外说明。 viterbi 算法核心原理通过预先定义的三张概率表（首字概率、转移概率、发射概率）计算输入的连续单字列表中的各个字在各种标签组合下的概率和最大的作为最优路径完成新词预测。首字概率：“BMES” 四个标签作为首字的概率，是标签级别概率，这个概率是固定的，所有字统一，定义在 /jieba/finalseg/prob_start.py 文件中） P={'B': -0.26268660809250016, 'E': -3.14e+100, 'M': -3.14e+100, 'S': -1.4652633398537678}转移概率：当前字的某个标签 → 下一个字的某个标签的概率，同样为标签级别概率，表示标签之前跳转的概率数值，与具体字无关，该数值一样为固定数值，配置在 /jieba/finalseg/prob_trans.py 文件中。例如：“直聘” 二字中 “直” 为 B 标签， → “聘” 为 E 标签，转移概率即 P(B → E) = -0.510825623765990。 ...

Git Commit Message (Angular Template)

提交信息格式模板 <type>(<scope>): <subject> <body> BREAKING CHANGE: <changes> Closes <closes>Type - 提交类型取值适用范围使用范围英文原文 feat (feature) 新功能、新特性 A new feature fix 修改 bug A bug fix docs 仅文档修改 Documentation only changes style 代码格式修改 Changes that do not affect the meaning of the code (white-space, formatting, missing semi-colons, etc) refactor 代码重构（重构，在不影响代码内部行为、功能下的代码修改） A code change that neither fixes a bug nor adds a feature perf 更改代码，以提高性能（在不影响代码内部行为的前提下，对程序性能进行优化） A code change that improves performance test 测试用例新增、修改 Adding missing or correcting existing tests build 影响项目构建或依赖项修改 Changes that affect the build system or external dependencies (example scopes: gulp, broccoli, npm) ci CI/CD 持续集成相关文件修改 Changes to our CI configuration files and scripts (example scopes: Travis, Circle, BrowserStack, SauceLabs) chore 其他修改（不在上述类型中的修改） Other changes that don’t modify src or test files revert 恢复上一次提交 Reverts a previous commit Scope - 此次变更的范围用于说明 commit 影响的范围 ...

CentOS7 使用 Docker 安装 IVRE

安装 docker 输入命令 curl -sSL https://get.daocloud.io/docker | sh 等待安装完成安装 docker compose 执行下面这行命令，下载 docker-compose 可执行文件 curl -L https://get.daocloud.io/docker/compose/releases/download/v2.16.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose执行下面这行命令，赋予该文件执行权限 chmod +x /usr/local/bin/docker-compose 执行命令 curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io 完成 docker 更换镜像源更换镜像源后，执行 sudo systemctl restart docker 重启 docker 服务安装 git 执行命令 yum install -y git 安装 git，安装完成后输入 git --version 若正常回显 git 版本号，则安装成功执行命令 mkdir /var/ivre ，创建 ivre 目录，随后执行命令 cd /var/ivre 切换到 /var/ivre 目录中 ...

PyExecJS 使用不在环境变量中的本地Node环境执行JavaScript代码

问题分析因为有需要通过Python项目代码目录中的 node.exe 执行指定的 JavaScript 代码，但发现 PyExecJS 总是报出 execjs._exceptions.RuntimeUnavailableError: Node.js (V8)_local runtime is not available on this system 这个错误。经过仔细阅读源码，发现 PyExecJS 默认只能运行系统环境变量中设置好的目录下的 NodeJS 环境，主要原因在于 PyExecJS 是通过两个分别名为 _binary 和 _which 的函数来获取 Node 程序的执行路径，而 _which 函数被设计为遍历系统环境变量 Path 中设定的目录，并从中寻找 node.exe 程序，从而获取到其完整路径的方法。这两个函数的设计原型如下： class ExternalRuntime(AbstractRuntime): def _binary(self): if not hasattr(self, "_binary_cache"): self._binary_cache = _which(self._command) return self._binary_cache def _which(command): """protected""" if isinstance(command, str): command = [command] command = list(command) name = command[0] args = command[1:] if _is_windows(): pathext = _decode_if_not_text(os.environ.get("PATHEXT", "")) path = _find_executable(name, pathext.split(os.pathsep)) else: path = _find_executable(name) if not path: return None return [path] + args解决方法这个问题解决起来很简单，只需要在创建好 ExternalRuntime 后，对其 _binary_cache 和 _available 两个属性进行强制修改即可。 _binary_cache 是 PyExecJS 在运行 JavaScript 代码时，调用的 NodeJs 程序的路径（代码第 14 行，需要修改为需要使用的 NodeJs 的路径，相对路径、绝对路径均可） _available 是 PyExecJS 的 _binary_cache 是否可以调用的标识，直接置为 True 即可 # 导入 PyExecJS 模块 import execjs import execjs._runner_sources as _runner_sources # 创建 JavaScript 运行时对象 # 参数中的 command 并不重要，传入空字符串即可 local_node_runtime = execjs.ExternalRuntime( name="Node.js (V8) local", command='', encoding='UTF-8', runner_source=_runner_sources.Node ) # 这里是重点，需要强制性修改 local_node_runtime._binary_cache = ['./node.exe'] local_node_runtime._available = True # 将刚创建好的 JavaScript 运行时注册至 PyExecJS 中 execjs.register('local_node', local_node_runtime) # 待运行的 JavaScript 代码 js_code = ''' function sum(a, b) { return a + b } ''' # 通过 execjs 的 get 方法，即可调用刚才注册到 PyExecJS 的 JavaScript 运行时 ctx = execjs.get('local_node').compile(js_code) result = ctx.call('add', 1, 2)

MySQL 数据库调优基本策略

一、SQL 层面调优 1. 性能分析使用 explain 语句查看 SQL 语句的执行计划相关信息，可以通过查看返回的可供使用索引、实际使用索引等信息对 SQL 语句的执行情况进行分析，并进行针对性的优化。 2. 建立、优化索引索引是 SQL 调优最重要的、最有效的方式，恰当的使用索引，可以大幅提升 SQL 的执行效率，让数据库优化器更好优化 SQL 的执行过程。索引并不是越多越好，过多的索引个数，会增加优化器的筛选负担。如果遇到通过一个字段，查询另一个字段的值的情况，可以建立联合索引，来避免数据库回表，优化查询效率。注意：主键会默认添加至索引中，所以在联合索引中，不需要手动再次添加主键尽可能地避免函数调用，同时要注意隐式的函数调用（隐式数据类型转换），函数调用会强制禁止使用索引，导致索引建立后并不能得到有效的使用。使用索引虽然会在一些场景中，大幅提升查询效率，但也会增加存储消耗，更重要的是，在有数据更新（插入、修改、删除）时，需要对索引进行修改，会大幅降低数据更新效率，所以采用索引必须要慎重考虑。二、DDL 层面调优尽可能地采用足以容纳数据的最小存储类型，让数据库在执行查询语句的过程中，能够将更多的数据载入内存进行处理。相比于 varchar ，数据库更适合对 int 类型的数据进行处理，如果条件允许，可以将 IP地址、时间戳等数据通过 int 或 bigint 类型来存储。尽量不要使用 text 类型字段，若必须要使用，且不常需要查询，则可以考虑将其提出到一张数据表中单独存储，并使用关联查询获取。尽可能地使用 not null 标记，这将大大减小采用了 innoDB 引擎的负担。若数据库读取需求远大于修改需求，且不是很需要数据库事务提供支持，可以将数据库引擎由默认的 innoDB 更改为 MyISAM，相比于前者，后者提供了更快的数据读取支持。注：MyISAM 与 innoDB 引擎还存在其他差别，需要根据具体业务情况进行选择。在对数据库进行表结构设计时，就要充分考虑到查询性能相关的问题，一句具体的应用场景，基于基本的数据库设计准则，对数据库进行合理的结构设计，在某些时候，可以违背第三范式设计准则，对数据表增加冗余字段，通过数据的冗余存储，来降低联查的频率。针对经常需要进行联查的字段，也可以通过建立中间表的方法，直接从中间表中获取需要联合查询的数据，以此来减少联合查询的频率，提高查询效率。三、数据库层面调优 1. 分库、分表当表中数据达到一定数据量时，单次查询遍历全表速度过慢，可以考虑分库分表。分库：在数据量过大，一个数据库无法满足业务查询需求时，需要同时开启多台数据库服务器，同时提供服务，以提高系统的访问载荷。在通常情况下，为了保证数据的一致性，采用 Master/Slave（主/从）模式来构建数据库架构，主库负责修改，从库负责查询。但需要注意的是，一旦采用分库技术，数据库之间相互独立，就不能再依赖数据库自身的主键生成方法，需要使用独立的主键生成工具，生成全局主键，才能避免主键冲突。还需要注意的是，使用分库技术后，数据表之间无法跨数据库联查，所以通常需要两次查询来近似实现联查功能。若系统中涉及到频繁的数据更新操作，可以通过增加数据库服务器的方式解决，但由于数据库服务器通常是成本高昂的高性能服务器，无限扩充服务器数量，从实际上讲并不现实。在这种情况下，更适合引入为高并发、频繁修改设计的高性能内存数据库（redis 等），用内存数据库充当中间件，并定期将内存数据库中的最新数据持久化到数据库中。分表 ...

Carrot2 部署

一、下载编译好的 Carrot2 应用程序从该页面下载最新版本的程序：GitHub Carrot2 Release cd 至相应文件夹后，使用命令 # 注：******* 是具体版本号，下面的命令unzip后面的文件名按真实文件名写 unzip carrot2-*******.zip cd 到上一步命令解压出来的文件夹中的 dcs 文件夹内二、运行前准备 Ⅰ 、安装 Java 11 执行该命令，安装 Java 11：yum install java-11-openjdk-devel 若系统内有多个 Java 版本，则执行该命令，选择 Java 11 为默认版本 alternatives --config java Ⅱ、配置防火墙使用该命令查看防火墙状态 systemctl status firewalld 若显示结果如下图，则需要配置放行 8080 端口执行该命令，放行8080端口 firewall-cmd --add-port=8080/tcp --permanent && firewall-cmd --reload，若显示 success，则防火墙配置成功。二、运行 Carrot2 方式一：前台运行执行 ./dcs 命令，开启程序方式二：后台运行执行下面的命令： nohup /opt/carrot2-4.2.1/dcs/dcs > /opt/carrot2-4.2.1/carrot2.log 2>&1 &方式三：系统服务 cd 进入该文件夹：/usr/lib/systemd/system/ ...

DRF 序列化 HyperlinkedIdentityField 遇数据库空值报错问题的解决方案

正文在使用 Django-Rest-Framework 的 HyperlinkedIdentityField 来生成字段的反向链接时，如果数据库中字段的值为空，此时 DRF 就会返回一串错误信息： django.core.exceptions.ImproperlyConfigured: Could not resolve URL for hyperlinked relationship using view name "user-detail". You may have failed to include the related model in your API, or incorrectly configured the `lookup_field` attribute on this field.解决方案：重写 HyperlinkedIdentityField 类的 to_representation 方法，从而规避数据库值为空的情况注： value 是一个数据库记录的对象需要将 user 修改为数据库中希望反向生成链接的字段名 # 重写 HyperlinkedIdentityField 类的 to_representation 方法，从而规避数据库值为空的情况 class MyHyperlinkedIdentityField(serializers.HyperlinkedIdentityField): def to_representation(self, value): if not value.user: return None return super().to_representation(value) 将序列化器中，对应字段的字段序列化类型修改为自己重写的子类 MyHyperlinkedIdentityField class ScoreSerializer(serializers.ModelSerializer): uploadUser_href = MyHyperlinkedIdentityField( view_name='user-detail', lookup_field='User_id', lookup_url_kwarg='userID')

人人网登录接口时间戳生成格式

人人网登录链接 http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=202063230558 202063230558 为时间戳通过查找源码可以发现，它的生成方式写在了 login.js 中对应源码为： var s = new Date; e = e + "&uniqueTimestamp=" + s.getFullYear() + s.getMonth() + s.getDay() + s.getHours() + s.getSeconds() + s.getUTCMilliseconds()分别由年、月、日、时、秒、UTC秒组成使用 Python 代码改写为： from datetime import datetime time = datetime.now() year = time.year month = time.month - 1 day = time.day - 5 hour = time.hour second = time.second utcSecond = datetime.utcnow().second uniqueTimestamp = '{}{}{}{:0>2}{:0>2}{:0>2}'.format(year, month, day, hour, second, utcSecond) uniqueTimestamp 就是最终生成的时间戳，大家可以自行字符串拼接，然后访问登录，登陆成功后，数据返回格式为： { "code":true, "homeUrl":"http://www.renren.com/home" }

Scrapy 将数据保存为标准 Json 格式文件的方法

序言在 Scrapy 中保存 json 文件有以下 3 种方式：直接创建并写入 json 文件，将数据写入其中使用 Scrapy.exporters 中自带的 JsonItemExporter进行导出操作使用 Scrapy.exporters 中自带的 JsonLinesItemExporter进行导出操作但，Scrapy 框架提供的这两个 json 导出模块，均存在各自的问题： JsonItemExporter 必须先将爬虫爬取下来的所有数据存放在内存中，待爬虫完成后，再一次性写入文件。这种方式，可以输出标准的 json 格式文件，但是如果数据量巨大，会大量占用内存。 JsonLinesItemExporter 这种方式，每次拿到数据都直接写入文件，占用内存少，但是输出的结果并不是标准的 Json 格式文件，无法通过 Json 将文件内容解析出来。于是，下面首先介绍，第一种方式，直接创建并将数据写入 json 文件，一、直接创建并写入 json 文件在 Scrapy 框架的 pipeline 写入如下内容 import os import codecs import json class SpiderPipeline(object): # 构造方法（初始化对象时执行的方法） def __init__(self): # 必须使用 w+ 模式打开文件，以便后续进行读写操作（w+模式，意味既可读，亦可写） # 注意：此处打开文件使用的不是 python 的 open 方法，而是 codecs 中的 open 方法 self.json_file = codecs.open('data.json', 'w+', encoding='UTF-8') # 爬虫开始时执行的方法 def open_spider(self, spider): # 在爬虫开始时，首先写入一个 '[' 符号，构造一个 json 数组 # 为使得 Json 文件具有更高的易读性，我们辅助输出了 '\n'（换行符） self.json_file.write('[\n') # 爬虫 pipeline 接收到 Scrapy 引擎发来的 item 数据时，执行的方法 def process_item(self, item, spider): # 将 item 转换为字典类型，并编码为 json 字符串，写入文件 # 为使得 Json 文件具有更高的易读性，我们辅助输出了 '\t'（制表符）与 '\n'（换行符） item_json = json.dumps(dict(item), ensure_ascii=False) self.json_file.write('\t' + item_json + ',\n') return item # 爬虫结束时执行的方法 def close_spider(self, spider): # 在结束后，需要对 process_item 最后一次执行输出的 “逗号” 去除 # 当前文件指针处于文件尾，我们需要首先使用 SEEK 方法，定位到文件尾前的两个字符（一个','(逗号), 一个'\n'(换行符)）的位置 self.json_file.seek(-2, os.SEEK_END) # 使用 truncate() 方法，将后面的数据清空 self.json_file.truncate() # 重新输出'\n'，并输出']'，与 open_spider(self, spider) 时输出的 '[' 相对应，构成一个完整的数组格式 self.json_file.write('\n]') # 关闭文件 self.json_file.close() 输出示例 ...

Windows10 环境下安装 MySql 8.0.20

一、从 MySql 官网下载安装包打开 MySql官网并点击页面顶部导航栏中的 DOWNLOADS 按钮，点击页面中部的 MySQL Community (GPL) Downloads 点击 MySQL Community Server 按钮在下拉菜单中，选择 Microsoft Windows后，点击下方的 Download 按钮在打开的页面中，选择 No thanks, just start my download. ，然后开始下载MySql zip安装包二、安装 MySql 将安装包解压到希望进行安装的位置，例如：D:\Program Files\mysql-8.0.20-winx64 将该路径添加至系统环境变量在 “此电脑” 图标上，右键点击属性，打开计算机属性点击左侧菜单栏中的 “高级系统设置”，然后在打开的窗口 “高级” 选项卡中，点击 “环境变量” 在下方 “系统变量” 一栏中，点击 “新建”，创建一个新的变量将变量名设置为 “MYSQL_HOME” ，将变量值设定为刚才 MySql 安装包的解压路径，配置好后点击 “确定” 完成创建 ...