Mac os windows 1251

Определение происходит простым перебором кодировок и выбором той, в которой не будет лишних символов. А набор символов определяете Вы. Конечно этот способ не подойдет для файлов с DOS-графикой, но в обычных целях использования txt его вполне хватит.

#!/usr/bin/python
# -*- coding: utf-8 -*-
__author__ = 'virtustilus'

import os
import sys

#Автоматический режим при запуске с параметрами
automatic=False

#общие данные
appdata={'enc':'','curfile':''}

#Массив файлов для конвертации
toconvert=[]

#массив на загрузку
r=[]
if len(sys.argv)>1:
    r=sys.argv[1:]
    automatic=True
else:
    i=raw_input(u'INPUT PATH:')
    r+=[i]


def print1(s):
    """
    Функция печатает данные, если не в автоматическом режиме
    """
    if not automatic:
        print s


#Строка с возможными символами
utfrustring=u'АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯабвгдеёжзийклмнопрстуфхцчшщъыьэюя'
utfrustring+=u'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'
utfrustring+=u'1234567890-=—+_}{][\\"|;:\'/?><.,`~§±!@#$%^&*()№ \r\n « » \u0009 \u2013 \u201c \u201d'


def checkline(s,encoding=''):
    """
    проверка одной строки на правильность символов
    """
    hist=''
    b=True
    for i in range(0,len(s)):
        c=s[i]
        try:
            if not c in utfrustring:
                #Отладка: если в UTF-8 кодировке неверный символ, лучше его показать
                if encoding==u'UTF-8':
                    hist+= c + u' ' + str(hex(ord(c))) + u' at ' + str(i) + u' in: ' + s + '\n'
                b=False
                break
        except:
            if encoding==u'UTF-8':
                hist+=u'error encoding \n'
            b=False
            break
    return (b,hist)




def check_all_lines(lines, encoding=''):
    """
    Проверка массива строк для файла
    """
    foundenc=appdata['enc']

    if foundenc:
        return foundenc
    if encoding=='':
        foundenc=u'UNICODE'
    else:
        foundenc=encoding
    x=lines[:]
    for j in x:
        if encoding!='':
            try:
                j=unicode(j,encoding)
            except:
                foundenc=''
                break
        cl=checkline(j,encoding)
        if not cl[0]:
            if cl[1]!='':
                print1(u'Error in:'+appdata['curfile'])
                print1(cl[1])
            foundenc=''
            break
    appdata['enc']=foundenc


#Если передана директория, а не файл, собрать все входящие текстовые файлы
if len(r)==1 and os.path.isdir(r[0]):
    a=r[0]
    r[:]=[]
    for i in os.walk(a):
        p=i[2]
        for j in p:
            if j.endswith('.txt'):
                r+=[i[0]+'/'+j]



if len(r)>0:
    for i in r:
        i=unicode(i,u'UTF-8')
        #обратите внимание, тут конвертация имени файла в UNICODE и проверка txt также в UNICODE: u'.txt'
        if i.endswith(u'.txt'):
            f=file(i,'r')
            lines=f.readlines()
            f.close()

            appdata['curfile']=i

            #Проверяем некоторые кириллические кодировки

            check_all_lines(lines,'')
            check_all_lines(lines,u'MACCYRILLIC')
            check_all_lines(lines,u'CP866')
            check_all_lines(lines,u'CP1251')
            check_all_lines(lines,u'KOI8R')
            check_all_lines(lines,u'CP10007')
            check_all_lines(lines,u'UTF-8-MAC')
            check_all_lines(lines,u'UTF-8')
            check_all_lines(lines,u'UTF-8-MAC')
            check_all_lines(lines,u'UTF-16')
            check_all_lines(lines,u'UTF-16BE')
            check_all_lines(lines,u'UTF-7')
            check_all_lines(lines,u'CP1252')
            check_all_lines(lines,u'KOI8-U')
            check_all_lines(lines,u'KOI8-RU')
            check_all_lines(lines,u'ISO-8859-5')


            if not appdata['enc']:
                toconvert.append((i,u'NOT FOUND ENCODING'))

            if appdata['enc'] and appdata['enc']!=u'UTF-8':
                toconvert.append((i,appdata['enc']))

        else:
            print1(u'\nFile '+i+u' is not text file. \n\n')


    if toconvert:
        c=0
        for i in toconvert:
            if i[1]!=u'NOT FOUND ENCODING':
                c+=1
        if c>0:
            print1(u'\n\n FOUND FILES TO CONVERT: ')
            for i in toconvert:
                print1(i[0] + u' in encoding ' + i[1])

            bt=True
            if not automatic:
                w=raw_input(u'Convert '+str(c)+u' files? (N)')
                bt= (w=='Y' or w=='y' or w=='Д' or w=='д' or w=='да' or w=='Да')
            if bt:
                for i in toconvert:
                    if i[1]!=u'NOT FOUND ENCODING':
                        f=file(i[0],'r')
                        x=f.readlines()
                        f.close()
                        x=[ unicode(k,i[1]) for k in x ]
                        x=[ k.encode(u'UTF-8') for k in x]
                        f=file(i[0],'w')
                        f.writelines(x)
                        f.close()
                        print1(u'FILE '+i[0]+u' CONVERTED SUCCESSFULLY :) ')
            else:
                print1(u'Bye!')
        else:
            print1(u'NO FILES TO CONVERT')
            for i in toconvert:
                print1(i[0] + u' in encoding ' + i[1])

    else:
        print1(u' ALL ENCODING IS OK (UTF-8)!!! :)')



else:
    print1(u'NO ONE TXT FILE')

#!/usr/bin/python
# -*- coding: utf-8 -*-
__author__ = 'virtustilus'

import os
import sys
import chardet

files=sys.argv[1:]
#если запуск без параметров, запрашиваем путь
if len(files)==0: files=[raw_input(u'INPUT PATH:')]

#собираем текстовые файлы и проходим по папкам
files_to_convert=[]
for i in files:
    if os.path.exists(i):
        if os.path.isdir(i):
            for w in os.walk(i):
                for wfile in w[2]:
                    if wfile.lower().endswith('.txt'):
                        files_to_convert+=[w[0]+'/'+wfile]
        elif os.path.isfile(i):
            #если был выбран файл специально, не важно какое расширение
            files_to_convert+=[i]

if len(files_to_convert)>0:
    for i in files_to_convert:
        f=file(i,'r')
        text=''.join(f.readlines())
        f.close()
        enc=chardet.detect(text).get('encoding')
        #Чтобы лишний раз не перезаписывать файл (dropbox), проверяем его кодировку
        if enc!='UTF-8':
            #Обходим ошибку перекодировки файла при пустом файле или другом случае
            try:
                text=text.decode(enc).encode('UTF-8')
                f=file(i,'w')
                f.write(text)
                f.close()
            except:
                pass

MacBook Pro 13″,

Mac OS X (10.6.5)

Posted on Nov 24, 2010 1:10 PM

Posted on Nov 24, 2010 1:22 PM