Linux大文件重定向与管道的效率是怎样的
发布时间：2022-02-26 23:48:52 所属栏目：Linux 来源：互联网
导读：这篇文章主要讲解了Linux大文件重定向和管道的效率是怎样的，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习Linux大文件重定向和管道的效率是怎样的吧！ 导读 大家先看一下二个 命令，假如huge_dump.sql文件
|
这篇文章主要讲解了“Linux大文件重定向和管道的效率是怎样的”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Linux大文件重定向和管道的效率是怎样的”吧！ 导读 大家先看一下二个 命令，假如huge_dump.sql文件很大，然后猜测一下哪种导入方式效率会更高一些? # 命令1，管道导入 shell> cat huge_dump.sql | mysql -uroot; # 命令2，重定向导入 shell> mysql -uroot < huge_dump.sql; 大家先看一下上面二个命令，假如huge_dump.sql文件很大，然后猜测一下哪种导入方式效率会更高一些? 这个问题挺有意思的，我的第一反应是：没比较过，应该是一样的，一个是cat负责打开文件，一个是bash 这种场景在MySQL运维操作里面应该比较多，所以就花了点时间做了个比较和原理上的分析： 我们先构造场景： 首先准备一个程序b.out来模拟mysql对数据的消耗： int main(int argc, char *argv[]) while(fread(buf, sizeof(buf), 1, stdin) > 0); return 0; } $ gcc -o b.out b.c $ ls|./b.out 再来写个systemtap 脚本用来方便观察程序的行为。 $ cat test.stp function should_log(){ return (execname() == "cat" || execname() == "b.out" || execname() == "bash") ; } probe syscall.open, syscall.close, syscall.read, syscall.write, syscall.pipe, syscall.fork, syscall.execve, syscall.dup, syscall.wait4 { if (!should_log()) next; printf("%s -> %sn", thread_indent(0), probefunc()); } probe kernel.function("pipe_read"), kernel.function("pipe_readv"), kernel.function("pipe_write"), kernel.function("pipe_writev") { if (!should_log()) next; printf("%s -> %s: file ino %dn", thread_indent(0), probefunc(), __file_ino($filp)); } probe begin { println(":~") } 好了，场景齐全了，我们接着来比较下二种情况下的速度，第一种管道： # 第一种管道方式 $ time (cat huge_dump.sql|./b.out) real 0m0.596s user 0m0.001s sys 0m0.919s 从执行时间数看出来速度有3倍左右的差别了，第二种明显快很多。 是不是有点奇怪?好吧我们来从原来上面分析下，还是继续用数据说话： 这次准备个很小的数据文件，方便观察然后在一个窗口运行stap $ echo hello > huge_dump.sql $ sudo stap test.stp :~ 0 bash(26570): -> sys_read 0 bash(26570): -> sys_read 0 bash(26570): -> sys_write 0 bash(26570): -> sys_read 0 bash(26570): -> sys_write 0 bash(26570): -> sys_close 0 bash(26570): -> sys_pipe 0 bash(26570): -> sys_pipe 0 bash(26570): -> do_fork 0 bash(26570): -> sys_close 0 bash(26570): -> sys_close 0 bash(26570): -> do_fork 0 bash(13775): -> sys_close 0 bash(13775): -> sys_read 0 bash(13775): -> pipe_read: file ino 20906911 0 bash(13775): -> pipe_readv: file ino 20906911 0 bash(13776): -> sys_close 0 bash(13776): -> sys_close 0 bash(13776): -> sys_close 0 bash(13776): -> do_execve 0 bash(26570): -> sys_close 0 bash(26570): -> sys_close 0 bash(26570): -> sys_close 0 bash(13775): -> sys_close 0 bash(26570): -> sys_wait4 0 bash(13775): -> sys_close 0 bash(13775): -> sys_close 0 b.out(13776): -> sys_close 0 b.out(13776): -> sys_close 0 bash(13775): -> do_execve 0 b.out(13776): -> sys_open 0 b.out(13776): -> sys_close 0 b.out(13776): -> sys_open 0 b.out(13776): -> sys_read 0 b.out(13776): -> sys_close 0 cat(13775): -> sys_close 0 cat(13775): -> sys_close 0 b.out(13776): -> sys_read 0 b.out(13776): -> pipe_read: file ino 20906910 0 b.out(13776): -> pipe_readv: file ino 20906910 0 cat(13775): -> sys_open 0 cat(13775): -> sys_close 0 cat(13775): -> sys_open 0 cat(13775): -> sys_read 0 cat(13775): -> sys_close 0 cat(13775): -> sys_open 0 cat(13775): -> sys_close 0 cat(13775): -> sys_open 0 cat(13775): -> sys_read 0 cat(13775): -> sys_write 0 cat(13775): -> pipe_write: file ino 20906910 0 cat(13775): -> pipe_writev: file ino 20906910 0 cat(13775): -> sys_read 0 b.out(13776): -> sys_read 0 b.out(13776): -> pipe_read: file ino 20906910 0 b.out(13776): -> pipe_readv: file ino 20906910 0 cat(13775): -> sys_close 0 cat(13775): -> sys_close 0 bash(26570): -> sys_wait4 0 bash(26570): -> sys_close 0 bash(26570): -> sys_wait4 0 bash(26570): -> sys_write （编辑：威海站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
