0基础使用最近到处传的库,从安装到导入到毫秒级查询

发布于 2020-11-27  946 次阅读


原文地址

第一步
先去下面的网址下载 mysql
https://dev.mysql.com/downloads/mysql/
pic_001.png
第二步
下载完成后解压
解压完是这个样子

pic_002.png
第三步
配置初始化的 my.ini 文件的文件
解压后的目录并没有的 my.ini 文件,没关系可以自行创建在安装根目录下添加的 my.ini(新建文本文件,将文件类型改为的. ini),写入基本配置:
配置文件中的路径要和实际存放的路径一致(8.0.18 不要手动创建 Data 文件夹)

[mysqld]  
port = 3306  
basedir=MYSQL 文件根目录存放的路径  
datadir=MYSQL 文件根目录存放的路径 / data  
max_connections=200  
character-set-server=utf8  
default-storage-engine=INNODB  
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES  
[mysql]  
default-character-set=utf8  

pic_003.png
第四步
用管理员身份运行 CMD 用 CD 命令进入进入 mysqlbin 目录

pic_004.png
第五步
MySQL 目录下的 bin 目录下执行命令

mysqld --initialize --console  

注意!

[注意][MY-010454] [服务器] 为 root [@]localhost 生成临时密码:9P0gYk-?0,kT 

其中 root @ localhost:后面的 9P0gYk-?0,kT 就是初始密码(不含首位空格)。

在没有更改密码前,需要记住这个密码,后续登录需要用到。复制密码先保存起来!!!

pic_005.png
第六步
安装 mysql 服务
执行下面的命令

mysqld --install  

成功之后 启动 mysql 服务

net start mysql  

pic_006.png
pic_007.png

第七步
下载 Navicat
推荐 Navicat Premium 12 下载地址和破解自行百度 Navicat  12 破解下载
第八步
navicat 连接 mysql
第一次连接会要求你更改密码
pic_008.png
pic_009.png

第九步
新建数据库
pic_010.png
pic_011.png

第十步
新建表,并导入
(QQ 的库需要你用文本编辑器来打开,在第一行添加 QQ----PHONE WB 的不需要)
字段分隔符号选择其他符号,输入 -
然后慢慢等数据导入了
pic_012.png
pic_013.png
pic_014.png
pic_015.png
pic_016.png

导入好的表打开看看
pic_017.png

第十一步
等待数据导入完成之后(文件非常大 导入需要很长时间)
新建索引(同样需要很长的时间)
右键你需要设置索引的表,选择设计表 点击索引
按我图里的设置即可,然后慢慢等啊等,等索引建立好就行
pic_018.png
pic_019.png

第十二步
上面的都弄好之后开始查询
点击数据库,点击查询新建查询
输入下面的 SQL 代码
然后可以保存查询,下次查询方便些
(论坛不能直接发代码,所以把我加进去的汉字记得删掉哦)
SEL 请把 ECT * FR 这里 OM qq WH 删除

ERE        `QQ` LIKE ""  

pic_020.png
pic_021.png
pic_022.png

方法二

原文地址
重要
请使用 MySQL8.0 以下,否则 MyISAM 引擎不支持分区,如果用 nnodb 引擎,导入速度和建索引速度将大打折扣,我使用的是 ySQL5.7
下载 mysql shell 工具
mysql shell 下载地址: https://downloads.mysql.com/archives/shell/
修改配置文件
my.ini 配置文件添加以下两行

[mysqld]  

secure_file_priv=''  

local_infile=on

同时如果原先已有以下两行,请先注释掉 (关闭二进制日志,加快导入速度)

#binlog_format=mixed  

#log-bin=binlog  

建立数据库和表

#建立数据库  

CREATE DATABASE kuzi;  

use kuzi;  

#建 weibo 表,分 16 个区  

CREATE TABLE `weibos`  (  

`phone` BIGINT(20) DEFAULT NULL,`uid` BIGINT(20) DEFAULT NULL  

) ENGINE=MyISAM DEFAULT CHARSET=ASCII PARTITION BY HASH(uid) PARTITIONS 16;  

#建 qq 表,分 26 个区  

CREATE TABLE `qqs`  (  

`qq` BIGINT(20) DEFAULT NULL,`phone` BIGINT(20) DEFAULT NULL  

) ENGINE=MyISAM DEFAULT CHARSET=ASCII PARTITION BY HASH(qq) PARTITIONS 26;

运行 mysqlsh 导入数据
cmd 命令行进入 mysql shellbin 目录运行  mysqlsh.exe,接着输入如下命令

#连接数据库,会提示输入密码  

\c root@127.0.0.1:3306  

#选择刚刚建的库  

\use kuzi  

#导入 WB 数据,把 D:/0/weibo_2019_5e.txt 修改成你的文件路径  

util.importTable("D:/0/weibo_2019_5e.txt",{"schema":"kuzi","table":"weibos","fieldsTerminatedBy":"\t","showProgress":true,"threads":8,bytesPerChunk: "1G",maxRate: "2G"});  

#上面执行完后,再导入 QQ 数据  

util.importTable("D:/0/qq_6.9_8e_update.txt",{"schema":"kuzi","table":"qqs","fieldsTerminatedBy":"----","showProgress":true,"threads":8,bytesPerChunk: "1G",maxRate: "2G"});

该方法导入应该是最快的了,我笔记本机械硬盘导入两个数据,WB 用了 5 分钟,QQ 用了 7 分钟
建立索引

use kuzi;  

# WB 的索引  

ALTER TABLE `kuzi`.`weibos`  ADD INDEX uid_phone (uid,phone);  

# QQ 的索引  

ALTER TABLE `kuzi`.`qqs`  ADD INDEX qq_phone (qq,phone);

这一步就比较久了,WB 耗时 45 分钟,QQ 耗时 90 分钟
查询
go 写了个简单的程序,源码已经放 https://github.com/JuchiaLu/kuzi,懒得编译的可以直接下载编译好的运行,修改程序配置文件后,cmd 下直接执行即可

#数据库类型  

db_type=mysql  

#数据库连接地址和账户密码  

db_url=root:root@tcp(127.0.0.1:3306)/kuzi?charset=utf8mb4&parseTime=True&loc=Local  

#http 监听端口  

listen_port=8080

执行程序后浏览器打开,也可以不用界面直接访问接口,返回 Json
QQ:http://127.0.0.1:8080/v1/qq?qq=10001
WB:http://127.0.0.1:8080/v1/weibo?uid=10001


或许明日太阳西下倦鸟已归时