perl去除重複內容的指令碼代碼(重複行+數組重複欄位)

假如有這樣的一段序列：
1 2
1 2
2 1
1 3
1 4
1 5
4 1
我們需要得到如下的結果：
1 3
1 5
2 1
4 1
那麼，請藉助以下的perl指令碼來實現。

代碼一：

複製代碼 代碼如下:#!/bin/perl
use strict;
use warnings;
my $filename;
my %hash;
my @information;
my $key1;
my $key2;
print "please put in the file like this f:\\\\perl\\\\data.txt\n";
chomp($filename=<STDIN>);
open(IN,"$filename")||die("can not open");
while(<IN>)
{
chomp;
@information=split/\s+/,$_;
if(exists $hash{$information[0]}{$information[1]})
{
next;
}
else
{
$hash{$information[0]}{$information[1]}='A';
}
}
close IN;
open(IN,"$filename")||die("can not open");
while(<IN>)
{
@information=split/\s+/,$_;
if(exists $hash{$information[1]}{$information[0]})
{
delete $hash{$information[0]}{$information[1]}
}
else
{
next;
}
}
close IN;
open(OUT,">f:\\A_B_result.txt")||die("can not open");
foreach $key1 (sort{$a<=>$b} keys %hash)
{
foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}})
{
print OUT "$key1 $key2\n";
}
}
close OUT;

代碼二：

如果有一個檔案data有10G大，但是有好多行都是重複的，需要將該檔案中重複的行合并為一行，那麼我們需要用什麼辦法來實現
cat data |sort|uniq > new_data #該方法可以實現，但是你需要花上好幾個小時。結果才能出來。
下面是一個使用perl指令碼來完成此功能的小工具。原理很簡單，建立一個hash，每行的內容為鍵,值由每行出現的次數來填充，指令碼如下;

複製代碼 代碼如下:#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;

my %hash;
my $script = $0; # Get the script name

sub usage
{
printf("Usage:\n");
printf("perl $script <source_file> <dest_file>\n");

}

# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 < 2) {

&usage;
exit 0;
}

my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows

open (FILE,"<$source_file") or die "Cannot open file $!\n";
open (SORTED,">$dest_file") or die "Cannot open file $!\n";

while(defined (my $line = <FILE>))
{
chomp($line);
$hash{$line} += 1;
# print "$line,$hash{$line}\n";
}

foreach my $k (keys %hash) {
print SORTED "$k,$hash{$k}\n";#改行列印出列和該列出現的次數到目標檔案
}
close (FILE);
close (SORTED);

代碼三：

通過perl指令碼，刪除資料群組中重複的欄位

複製代碼 代碼如下:#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 儲存合格元素
@array = grep { ++$hash{$_} < 2 } @array;
print join(" ",@array);
print "\n";