心灵咖啡

 找回密码
 注册加入
查看: 9176|回复: 4
收起左侧

[环境架设] linux下中文文件名乱码问题(convmv安装与下载)

[复制链接]
发表于 2013-12-30 00:25:38 | 显示全部楼层 |阅读模式
win主机重装为linux环境后,遇到个小问题,就是一些中文命名的文件名变成了乱码,从而导致了文件不可用,从网上找到相关经验来看,本人遇到的应该是这种情况:

从Linux往 windows拷贝文件或者从windows往Linux拷贝文件,有时会出现中文文件名乱码的情况,出现这种问题的原因是因为,windows的文件名中文编码默认为GBK,而Linux中默认文件名编码为UTF8,由于编码不一致,所以导致了文件名乱码的问题,解决这个问题需要对文件名进行转码。
在Linux中专门提供了一种工具convmv进行文件名编码的转换,可以将文件名从GBK转换成UTF-8编码,或者从UTF-8转换到GBK。
首先看一下你的系统上是否安装了convmv,如果没安装的话用:
yum -y install convmv 安装。

下面看一下convmv的具体用法:
convmv -f 源编码 -t 新编码 [选项] 文件名
常用参数:
-r 递归处理子文件夹
–notest 真正进行操作,请注意在默认情况下是不对文件进行真实操作的,而只是试验。
–list 显示所有支持的编码
–unescap 可以做一下转义,比如把%20变成空格

比如我们有一个utf8编码的文件名,转换成GBK编码,命令如下:
convmv -f UTF-8 -t GBK –notest utf8编码的文件名
这样转换以后”utf8编码的文件名”会被转换成GBK编码(只是文件名编码的转换,文件内容不会发生变化)

转自:http://bbs.csdn.net/topics/390134311

这个方法介绍的命令似乎只能对某一个文件来转换?可是我网站目录下中文文件分布在多处目录,这样不是很麻烦?好吧,提到的这个工具convmv,没用过,搜索一下看看:

Linux下两个工具convmv和iconv

自从转到Ubuntu平台之后,原来在SUSE下面留下来的一大批mp3的文件名一直显示乱码,今天在网上搜索到在linux下面两个工具convmv和iconv。

convmv就是更改文件名编码方式的一个工具。比如

sudo convmv -f gbk -t utf-8 -r --notest  /home

就是将/home目录下原来文件名是gbk编码方式的全部改为utf-8格式的。这里 -f  后面为原来的编码方式,-t 后面是要更改为的编码方式, -r 表示这个目录下面的所有文件, –notest 表示马上执行,而不是仅仅测试而已。另外这命令好像要root才能执行,因此要加上 sudo。

iconv是更改文件编码方式的一个工具:

sudo iconv -f gbk -t utf-8 -o outfile  infile

-f为原来的编码方式,-t 为输出文件的编码方式, -o表示输出文件名,这利用outfile表示,最后跟上要更改编码方式的文件名sourcefile  。

通过这两个工具,中文文件乱码的问题终于解决。

转自:http://www.linuxidc.com/Linux/2012-09/70105.htm

看样子这个工具可以目录转换,好吧,姑且试试。


测试可用,不过这个只是转换了文件名字罢,对文件内容没用。

——论坛程序问题,请给 qq124627513(微信同步)留言。(系统默认签名,点击修改
 楼主| 发表于 2013-12-30 01:33:17 | 显示全部楼层
查看是否安装:

yum search convmv

与及

rpm -q convmv-***.rpm


本人查看后发现这二个管理包里都没有这个东东,所以网上下载安装:

下载链接找到二个:
http://download.chinaunix.net/download/0002000/1760.shtml
http://download.csdn.net/download/daihuifen/5814535

如果你需要在linux下面用到windows下的文件,拷贝上去后经常发现中文显示乱码。。原因是Windows中默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8。比较繁琐的方法是在windows下用程序把内容转换为utf-8编码格式的,但是相当麻烦,而且遇到一个文件转一回。下面介绍一下,在Linux中如何一劳永逸的解决这个问题,查看文件的编码及如何进行对文件进行编码转换。
如何解决这个问题呢?首先你需要在你的机器上安装一个命令:convmv。(另外一种安装方法:redhat系列机器可以用yum install convmv命令来安装,debian系统可以用apt-get install convmv命令来安装。二者关系:http://www.xlkf.cn/thread-3890-1-1.html
1、下载此包后,解压:tar xzvf convmv-1.14.tar.gz
2、进入到目录下:cd convmv-1.14
3、安装:make install
4、安装完成后,使用以下命令来转换文件名的编码问题:
convmv -f GBK -t UTF-8 --notest -r ./
其中,-r选项是递归子目录选项。--notest选项是正式执行改名动作,如果不加此选项,那么只会列出改名后的文件名,但是不会真正改名,你可以先去掉此参数看下改名后的结果,然后在添加上此参数进行改名。./是当前目录。
这样就解决了中文乱码问题。
今天在网上查了很多零散的资料才解决的,现在把步骤整理一下供大家参考

                                
——论坛程序问题,请给 qq124627513(微信同步)留言。(系统默认签名,点击修改
 楼主| 发表于 2013-12-30 00:26:50 | 显示全部楼层

convmv 转乱码  


下载网址:
http://download.chinaunix.net/download/0002000/1760.shtml
还真不知道怎么来命名这个帖子的标题,我的意思是如何在gbk,gb18030,gb2312,utf8编码中创建的文件实现互相转换。
并不是所有的Linux分发版本都采用一种编码,比如RedFlag默认采用GB18030的编码,当然这还不包括自己修改系统默认编码。因此编码之间转换就很有必要了。
编码转换分为两个部分:内容和文件名。
内容的转换:
iconv显然是最佳工具,目前支持绝大部分编码,而且大部分系统自带。不过对GB18030并不能完全支持。
iconv的基本用法:
iconv -f -t -o orig_file
-f, --from-code=名称       原始文本编码
-t, --to-code=名称         输出编码
-o, --output=FILE          输出文件
当然你可以使用 -l 或者 --list来查查看目前支持的编码。
文件名的转换
显然,convmv是对付这个问题的好工具,他实际上是一个perl程序,不是所有的系统都自带。
使用方法也非常简单:
convmv -f gb2312 -t utf8 -r --notest *
-r表示包含所有子目录,并且连带目录也转换
不加--notest就表示只看看有什么需要转换的,不做实际转换

例子:
假设在“/root/wilson/test”有乱码文件
[root@localhost test]# convmv -f utf8 -t gb2312 -r --notest  *
mv "./4X4閿?洏.txt"    "./4X4键盘.txt"
mv "./Linux涓婹t缂栫▼鍏ラ棬鏁欑▼涓?枃鐗堜笅杞??.rar"  "./Linux下Qt编程入门教程中文版下载.rar"
mv "./甯哥敤ARM鎸囦护闆嗗強姹囩紪.pdf"  "./常用ARM指令集及汇编.pdf"
Ready!
[root@localhost test]# ls
4X4键盘.txt  Linux下Qt编程入门教程中文版下载.rar  常用ARM指令集及汇编.pdf


转自http://blog.163.com/yaning_softw ... 721201171114221611/
——论坛程序问题,请给 qq124627513(微信同步)留言。(系统默认签名,点击修改
 楼主| 发表于 2013-12-30 00:58:39 | 显示全部楼层


http://bbs.csdn.net/topics/390134311

--------------------------
其实乱码这个问题是由系统集成的字符集引起的,由于不能正确的使用相对应字符的字符集,因此OS不能识别出文字导致了乱码,解决的方法不难......

    首先,我们先要知道控制Linux OS 的语言环境变量是 $LANG和$LC_ALL,要解决乱码的情况我们只需要把上述的两个变量正确设置即可.

乱码分两种情况:
1.终端(纯shell界面)的乱码
vi /etc/profile
export LC_ALL="zh_CN.GB18030:zh_CN.GB2312:zh_CN.GBK:zh_CN:en_US.UTF-8:en_US:en:zh:zh_TW:zh_CN.BIG5"
保存退出,reboot系统即可..

2.X-window(图形界面)的乱码
vi /etc/sysconfig/i18n
LANG="zh_CN.GB18030:zh_CN.GB2312:zh_CN.GBK:zh_CN:en_US.UTF-8:en_US:en:zh:zh_TW:zh_CN.BIG5"
LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN.GBK:zh_CN:en_US.UTF-8:en_US:en:zh:zh_TW:zh_CN.BIG5"
保存reboot即可...

由于中文的字符集编码很多,我自己也不是十分清楚彼此的兼容性如何,所以就尽可能的找了很多种不同的编码都写了上去,大家也可以自己筛选下,总的解决思路就是修改控制环境参数的变量,增加OS所支持的字符集(前提要内核上存在该字符,否则需要编译内核)...


正在开发的WEB系统是部署在RED   HEAD 。
RH版本信息:
LSB   Version:         :core-3.1-amd64:core-3.1-ia32:core-3.1-noarch:graphics-3.1-amd64:graphics-3.1-ia32:graphics-3.1-noarch
Distributor   ID:   RedHatEnterpriseServer
Description:         Red   Hat   Enterprise   Linux   Server   release   5   (Tikanga)
Release:                 5
Codename:               Tikanga
-------------------------------
locale   信息
LANG=zh_CN.UTF-8
LC_CTYPE="zh_CN.UTF-8"
LC_NUMERIC="zh_CN.UTF-8"
LC_TIME="zh_CN.UTF-8"
LC_COLLATE="zh_CN.UTF-8"
LC_MONETARY="zh_CN.UTF-8"
LC_MESSAGES="zh_CN.UTF-8"
LC_PAPER="zh_CN.UTF-8"
LC_NAME="zh_CN.UTF-8"
LC_ADDRESS="zh_CN.UTF-8"
LC_TELEPHONE="zh_CN.UTF-8"
LC_MEASUREMENT="zh_CN.UTF-8"
LC_IDENTIFICATION="zh_CN.UTF-8"
LC_ALL=
---------------------------------
因为程序目录有若干文件要读出来显示在页面上,文件名为中文名
我使用File.list()方法得到了文件名列表,可是显示出来的都是乱码。
new   String(filename.getBytes("utf-8"),"GBK");
new   String(filename.getBytes("iso-8859-1"),"GBK");
new   String(filename.getBytes(),GBK");

都不起作用,
使用 System.getProperty("file.encoding") 得出的是"utf-8"
另外,使用   ls   命令查看的时候,是乱码,使用   ls   --show-control-chars   命令就能显示中文名(控制台)




添加 locale, 估计你的系统不支持gbk字符集。

ubuntu下是 vi /var/lib/locales/supported.d/local

加完后 locale-gen一下, 重新刷新字符集缓存。


如果你需要在Linux中操作windows下的文件,那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8。下面介绍一下,在Linux中如何查看文件的编码及如何进行对文件进行编码转换。
一,查看文件编码:
在Linux中查看文件编码可以通过以下几种方式:
1.在Vim中可以直接查看文件编码
:set fileencoding
即可显示文件编码格式。
如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在
~/.vimrc 文件中添加以下内容:
set encoding=utf-8
fileencodings=ucs-bom,utf-8,cp936
这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照 fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ASCII)编码打开。
2. enca (如果你的系统中没有安装这个命令,可以用sudo yum install -y enca 安装 )查看文件编码
$ enca filename
filename: Universal transformation format 8 bits; UTF-8
CRLF line terminators
需要说明一点的是,enca对某些GBK编码的文件识别的不是很好,识别时会出现:
Unrecognized encoding
二,文件编码转换
1.在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式
:set fileencoding=utf-8
2. iconv 转换,iconv的命令格式如下:
iconv -f encoding -t encoding inputfile
比如将一个UTF-8 编码的文件转换成GBK编码
iconv -f GBK -t UTF-8 file1 -o file2
3. enconv 转换文件编码
比如要将一个GBK编码的文件转换成UTF-8编码,操作如下
enconv -L zh_CN -x UTF-8 filename
三,文件名编码转换:
从Linux往 windows拷贝文件或者从windows往Linux拷贝文件,有时会出现中文文件名乱码的情况,出现这种问题的原因是因为,windows的文件名中文编码默认为GBK,而Linux中默认文件名编码为UTF8,由于编码不一致,所以导致了文件名乱码的问题,解决这个问题需要对文件名进行转码。
在Linux中专门提供了一种工具convmv进行文件名编码的转换,可以将文件名从GBK转换成UTF-8编码,或者从UTF-8转换到GBK。
首先看一下你的系统上是否安装了convmv,如果没安装的话用:
yum -y install convmv 安装。

下面看一下convmv的具体用法:
convmv -f 源编码 -t 新编码 [选项] 文件名
常用参数:
-r 递归处理子文件夹
–notest 真正进行操作,请注意在默认情况下是不对文件进行真实操作的,而只是试验。
–list 显示所有支持的编码
–unescap 可以做一下转义,比如把%20变成空格

比如我们有一个utf8编码的文件名,转换成GBK编码,命令如下:
convmv -f UTF-8 -t GBK –notest utf8编码的文件名
这样转换以后”utf8编码的文件名”会被转换成GBK编码(只是文件名编码的转换,文件内容不会发生变化)


四,vim 编码方式的设置
和所有的流行文本编辑器一样,Vim 可以很好的编辑各种字符编码的文件,这当然包括UCS-2、UTF-8 等流行的Unicode 编码方式。然而不幸的是,和很多来自 Linux 世界的软件一样,这需要你自己动手设置。
Vim 有四个跟字符编码方式有关的选项,encoding、fileencoding、fileencodings、termencoding (这些选项可能的取值请参考 Vim 在线帮助 :help encoding-names),它们的意义如下:
* encoding: Vim 内部使用的字符编码方式,包括 Vim 的 buffer (缓冲区)、菜单文本、消息文本等。默认是根据你的locale选择.用户手册上建议只在 .vimrc 中改变它的值,事实上似乎也只有在.vimrc 中改变它的值才有意义。你可以用另外一种编码来编辑和保存文件,如你的vim的encoding为utf-8,所编辑的文件采用cp936编码,vim会自动将读入的文件转成utf-8(vim的能读懂的方式),而当你写入文件时,又会自动转回成cp936(文件的保存编码).
* fileencoding: Vim 中当前编辑的文件的字符编码方式,Vim 保存文件时也会将文件保存为这种字符编码方式 (不管是否新文件都如此)。
* fileencodings: Vim自动探测fileencoding的顺序列表,启动时会按照它所列出的字符编码方式逐一探测即将打开的文件的字符编码方式,并且将 fileencoding 设置为最终探测到的字符编码方式。因此最好将Unicode 编码方式放到这个列表的最前面,将拉丁语系编码方式 latin1 放到最后面。
* termencoding: Vim 所工作的终端 (或者 Windows 的 Console 窗口) 的字符编码方式。如果vim所在的term与vim编码相同,则无需设置。如其不然,你可以用vim的termencoding选项将自动转换成term 的编码.这个选项在 Windows 下对我们常用的 GUI 模式的 gVim 无效,而对 Console 模式的Vim 而言就是 Windows 控制台的代码页,并且通常我们不需要改变它。


五,Vim 的多字符编码工作方式
1. Vim 启动,根据 .vimrc 中设置的 encoding 的值来设置 buffer、菜单文本、消息文的字符编码方式。

2. 读取需要编辑的文件,根据 fileencodings 中列出的字符编码方式逐一探测该文件编码方式。并设置 fileencoding 为探测到的,看起来是正确的 (注1) 字符编码方式。

3. 对比 fileencoding 和 encoding 的值,若不同则调用 iconv 将文件内容转换为encoding 所描述的字符编码方式,并且把转换后的内容放到为此文件开辟的 buffer 里,此时我们就可以开始编辑这个文件了。注意,完成这一步动作需要调用外部的 iconv.dll(注2),你需要保证这个文件存在于 $VIMRUNTIME 或者其他列在 PATH 环境变量中的目录里。

4. 编辑完成后保存文件时,再次对比 fileencoding 和 encoding 的值。若不同,再次调用 iconv 将即将保存的 buffer 中的文本转换为 fileencoding 所描述的字符编码方式,并保存到指定的文件中。同样,这需要调用 iconv.dll由于 Unicode 能够包含几乎所有的语言的字符,而且 Unicode 的 UTF-8 编码方式又是非常具有性价比的编码方式 (空间消耗比 UCS-2 小),因此建议 encoding 的值设置为utf-8。这么做的另一个理由是 encoding 设置为 utf-8 时,Vim 自动探测文件的编码方式会更准确 (或许这个理由才是主要的  。我们在中文 Windows 里编辑的文件,为了兼顾与其他软件的兼容性,文件编码还是设置为 GB2312/GBK 比较合适,因此 fileencoding 建议设置为 chinese (chinese 是个别名,在 Unix 里表示 gb2312,在 Windows 里表示cp936,也就是 GBK 的代码页)。
——论坛程序问题,请给 qq124627513(微信同步)留言。(系统默认签名,点击修改
 楼主| 发表于 2013-12-31 20:48:22 | 显示全部楼层
郁闷,查了这么多资料,装好了convmv,可以用了,问题是转换不了,老是提示:

Another reason might be the file was not validly encoded in cp936.
utf-8-strict doesn't cover all needed characters for: "/home/。。/¦°Î++-ÎÍ-¸+-.gif"
Another reason might be the file was not validly encoded in cp936.

唉,继续找原因。


——论坛程序问题,请给 qq124627513(微信同步)留言。(系统默认签名,点击修改
您需要登录后才可以回帖 登录 | 注册加入

本版积分规则

广告
广告位
广告位
广告位
关闭

站长推荐上一条 /1 下一条

QQ|联系我们|手机版|小黑屋|Archiver|心灵咖啡 ( 粤ICP备16121829号-1 )

GMT+8, 2024-4-29 23:18 , Processed in 0.079774 second(s), 26 queries .

Powered by Discuz! and 心灵文学

Copyright © 2001-2021, Tencent Cloud.


本站文章为原创会员所有,未经许可禁止去版权转载,但欢迎分享本站文章链接!另,若有抄袭侵权,联系即删禁。
快速回复 返回顶部 返回列表