awk数组处理两个文件的例子

awk数组处理两个文件的例子

如果文件a中包含文件b,则将文件b的记录打印出来输出到c文件里 文件a: 10/05766798607,11/20050325191329,29/0.1,14/05766798607 10/05767158557,11/20050325191329,29/0.08,14/05767158557 文件b: 05766798607 05766798608 05766798609 通过文件a和文件b对比,导出这样的文件出来. 10/05766798607,11/20050325191329,29/0.1,14/05766798607

本人查了很多网上的答案都是错误码的

正确答案应该:

方法一: awk -F’[/,]‘ ‘ARGIND==1{a[$0]}ARGIND>1{if ($2 in a)print $0}’ b a >c

方法二: awk -F’[/,]‘ ‘NR==FNR{a[$0]}NR>FNR{if ($2 in a) print $0}’ b a >c

这两种方法是用数组处理的,速度比较快,处理9万行只需4秒。

还有一种方法是通过while 每次用read 命令从b中读一条记录与a中$2比较如果相等则输出到c中

root@TestAs4 zlwt]# more for3.sh #!/bin/bash while read line ; do awk -F’[/,]‘ ‘$2 == ‘$line’ {print $0}’ a >>c

done < b;

这种方法很好理解,但速度非常慢,每次只读取一条记录,9万行需5个小时处理。

例二 **awk数组处理两个文件索引的问题(替代法)**

[root@TestAs4 zlwt]# more a deptA deptB deptC deptD [root@TestAs4 zlwt]# more b aaa 0 bbb 1 ccc 2 ddd 0 eee 2 fff 2 [root@TestAs4 zlwt]# awk ‘NR==FNR {k[i++]=$1} NR>FNR { print $1,k[$2]}’ a b aaa deptA bbb deptB ccc deptC ddd deptA eee deptC fff deptC

NR==FNR {k[i++]=$1} #先把a文件的值赋给数组k,下标从0自动增长

NR>FNR { print $1,k[$2] #其中 $1,$2是b中的第一,二个域,k[$2]为a的值

下面方法是r2007版主的其实是一样的

[root@TestAs4 zlwt]# awk ‘{if(NR==FNR)k[i++]=$0;else print $1,k[$2]}’ a b aaa deptA bbb deptB ccc deptC ddd deptA eee deptC fff deptC

另外一个例子

awk ‘ BEGIN{FS=”[|]“;OFS=”|”} FNR==NR{a[$1]=$2} FNR<NR{if(!a[$1]) {$1=”13”;print} else {$1=a[$1];print}} ‘ wj wj1>wj2

文件1 1|name1 2|name2 3|name3 5|name5 6|name6 文件2 1|name11 2|name22 3|name33 4|name44 5|name55 6|name66 7|name77 8|name88 输出结果 name1|name11 name2|name22 name3|name33 13|name44 name5|name55 name6|name66 13|name77 13|name88

它在处理2个以|分割的文件 例如 文件1 wj 格式 id1|desc1 文件2 wj1格式 id2|desc2 FNR==NR{a[$1]=$2} 意思是处理第一个文件时 把 desc1 赋值给 数组 a 的 a[id1] 单元。 FNR<NR 条件是在处理第2文件成立。这样在处理第2 文件时 {if(!a[$1]) {$1=”13”;print} else {$1=a[$1];print 如果a[$1] 是空,就把第2文件那行的第1列替换为 13 输出 如: 13|desc2 如果a[$1]非空,就是这个数组值已经在处理第1文件赋过值。就把$1替换为 a[$1] 即 文件1对应的$2。输出的就是 desc1|desc2 归纳一句 就是在文件2中以id2在文件1中查id1=id2的对应desc1 , 找到输出 desc1|desc2 找不到输出 13|desc2

例:把数组中如1331131*** 批量替换成861331131***

#cat a.txt 13994623* 13394660* 13394660* 13394671* 13394672* 13394690* 13394692* 15304863*

#awk ‘{print “86”$1}’ a.txt > b.txt

8613994623***

8613394660* 8613394660* 8613394671* 8613394672* 8613394690* 8613394692* 8615304863* #awk ‘{print substr($1,3,11)}’ b.txt 把86去掉 13994623* 13394660* 13394660* 13394671* 13394672* 13394690* 13394692* 15304863***

------------------------------------------------------------------------------ 两个文件关联处理 [root@TestAs4 cwm]# awk ‘{print $1}’ 153mdn.txt |uniq -c 4 七台河 5 伊春 18 佳木斯 13 双鸭山 66 哈尔滨 1 大兴安岭 32 大庆 20 牡丹江 19 绥化 16 鸡西 15 鹤岗 10 黑河 19 齐齐哈尔 [root@TestAs4 cwm]# awk ‘{print $1,substr($1,1,7)}’ hlj_jifei >hlj_temp [root@TestAs4 mdn]# more hlj_temp 13009700055 1300970 13009700495 1300970 13009701075 1300970 13009701282 1300970 [root@TestAs4 mdn]# ls 2 3 awk_script cwm hlj_jifei hlj_temp newmdn_table.TXT temp test1 [root@TestAs4 mdn]# more test1 1300019 510 020 广州 1300101 110 010 北京 1300103 110 010 北京 1300104 110 010 北京 1300106 110 010 北京 [root@TestAs4 mdn]# awk ‘NR==FNR{a[substr($1,1,7)]=$4}NR>FNR&&a[b=substr($1,1,7)]{print $1,a[b]}’ test1 hlj_temp |more 或 [root@TestAs4 mdn]# awk ‘NR==FNR{a[$1]=$4}NR>FNR&&a[b=substr($1,1,7)]{print $1,a[b]}’ test1 hlj_temp 13009700055 哈尔滨 13009700495 哈尔滨 13009701075 哈尔滨 13009701282 哈尔滨 ————————————————————————————– [root@TestAs4 mdn]# more temp 1300970 13009700055 1300970 13009700495 1300970 13009701075 1300970 13009701282 ——————————————————————————– [root@TestAs4 mdn]# more awk_script BEGIN { while ((getline < “test1”) > 0){ lines[$1]=$4 };OFS=” “ } { if($1 in lines){ $1=lines[$1] #把test1文件的$4替换到temp文件的$1上 print $0 } } #要求把test1文件的第四个字段插入到temp文件的相应条目的第一个子段中 #利用getline获取test1文件的第四个字段,并且放到一个数组中。 [root@TestAs4 mdn]# ls 2 3 awk_script cwm hlj_jifei hlj_temp newmdn_table.TXT temp test1 [root@TestAs4 mdn]# awk -f awk_script temp |wc -l 63440 [root@TestAs4 mdn]# awk -f awk_script temp |more 哈尔滨 13009700055 哈尔滨 13009700495 awk又一个例子: 统计某一列所有值的和 把所有第二列的值求和 [root@TestAs4 ]# more cwm.txt cwm 123 zbl 124 yhh 2 cj 1 [root@TestAs4 ~]# awk ‘{a[x++]=$2};END{for(i=1; i<=NR; i++) b=b+a[i-1];print b }’ cwm.txt 250 [root@TestAs4 ~]# awk ‘{a[NR]=$2;b=0};END{for(i=1; i<=NR; i++) b=b+a[i];print b }’ cwm.txt 250 显示文件的从第m行到n行 [root@TestAs4 ~]# sed -n ‘2,10’p mdn.txt [root@TestAs4 ~]# awk ‘NR==2,NR==10{print $0}’ mdn.txt 给手机号码分G网C网 1.C网(C网是133或153开头的号) awk ‘$1 ~/^133/ || $1 ~/^153/‘ file.txt >C网.txt 2.G网(由于G网比较多非133非153开头的都是) awk ‘$1 !/^133/ && $1 !~/^153/‘ file.txt >G网.txt 给两个文件每行对应连接 [root@TestAs4 cwm]# more tep_01.txt cwm 13911320988 zbl 13931095233 chen 12333333333 cwm 12233333333 cwm 45555555555 [root@TestAs4 cwm]# more tep_02.txt cwm1 111320988 zbl1 131095233 chen1 133333333 cwm1 133333333 cwm1 455555555 awk ‘NR==FNR {a[FNR]=$0} NR>FNR { print $0,a[FNR]}’ tep_01.txt tep_02.txt cwm1 111320988 cwm 13911320988 zbl1 131095233 zbl 13931095233 chen1 133333333 chen 12333333333 cwm1 133333333 cwm 12233333333 cwm1 455555555 cwm 45555555555 还有一个命令 paste [root@TestAs4 cwm]# paste tep_01.txt tep_02.txt cwm 13911320988 cwm1 111320988 zbl 13931095233 zbl1 131095233 chen 12333333333 chen1 133333333 cwm 12233333333 cwm1 133333333 cwm 45555555555 cwm1 455555555 awk 处理HAN开头下一个HAN的上一行数字为结尾的文件 … 或者中提取任一文件段 以HAN开头,下一个HAN的上一行数字段为结尾的一段 生成HAN1等这样的文件 [root@TestAs4 cwm]# more file1.txt HAN 1 12 23 34 45 23 45 56 HAN 2 12 23 34 45 23 45 56 12 23 34 45 HAN 3 12 23 34 45 23 45 56 44 12 23 34 45 23 45 56 HAN 4 12 23 34 45 23 45 56 HAN n awk ‘{ if ($1==”HAN” && NF==2) fn=$2; print $0>>”HAN” fn;}’ file1.txt awk ‘{fn=$2; print $1 >>fn”hb”}’ hbuse.txt 这是所有记录以$2归类。 ———————–找出两文件相同及不同的值———————————- awk ‘NR==FNR{a[$0]++} NR>FNR&&!a[$0]‘ file1 file2 找出文件2中不同的值 awk ‘NR==FNR{a[$0]++} NR>FNR&&a[$0]‘ file1 file2 找出两文件中相同的值 或 awk ‘NR==FNR{a[$0]}NR>FNR{ if(!($1 in a)) print $0}’ file1 file2 找出文件2中不同的值 awk ‘NR==FNR{a[$0]}NR>FNR{ if($1 in a) print $0}’ file1 file2 找出两文件中相同的值 ————————awk按字段分类统计—————————————- 1300018 广东 1300019 广东 1300100 北京 1300101 北京 1300126 北京 1300127 北京 1300128 北京 1300129 北京 1300130 天津 1300131 天津 1300132 天津 1300133 天津 想得到三个文件: 广东2.txt 1300018 1300019 北京6.txt 1300100 1300101 1300126 1300127 1300128 1300129 天津4.txt 1300130 1300131 1300132 1300133 awk ‘{a[$2]++;print $1 > $2} END {for (i in a) {print “mv “ i “ “ i””a[i]“.txt” }}’ ufile|sh


文章作者: 物探网
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 物探网 !
  目录