Вы здесьЗнатоки Perl-а, помогите плз: нужен автономный код для конвертации utf-8 -> windows-1251
Опубликовано пт, 08/08/2008 - 11:27 пользователем pkn
Знатоки Perl-а, помогите плз: нужен автономный код для конвертации строки utf-8 -> windows-1251 В идеале - на Perl-е, но сгодится и C или ещё что-нибудь, что можно переписать на Perl-е. Главное, чтобы код был автономный, а не ссылался на библиотеки или модули. Потому что перловый модуль Unicode::Map8 я никак не могу заставить работать на своей системе... :((
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
Океана RE:Подайте бедному копеечку на книжку с литреса... 2 дня
Isais RE:DNS 1 неделя Саша из Киева RE:Приключения белочки Рыжки 1 неделя alex-from RE:Оплатил два раза, но абонемента нет 1 неделя sem14 RE:Книжная серия "Жизнь в искусстве" издательство "Искусство"... 1 неделя Kiesza RE:На 78-м году жизни скончался советский и российский... 1 неделя Paul von Sokolovski RE:Бушков умер. 3 недели lemma7 RE:Серия «Интеллектуальный детектив» изд-ва АСТ 3 недели mig2009 RE:Багрепорт - 2 3 недели Isais RE:Издательство "Медуза" 4 недели babajga RE:Народные сказки - Сказки народов Сибири = Fairy-Tales of... 1 месяц Саша из Киева RE:Кто сможет раздобыть и оцифровать нужные мне книги? 1 месяц sibkron RE:Серия "Библиотека французской литературы" (Макбел) 1 месяц Isais RE:Игорь Северянин - Том 2. Поэзоантракт 1 месяц sem14 RE:Современная корейская литература. Книжная серия... 1 месяц sem14 RE:Семейственность в литературе 2 дня Isais RE:Детство, опаленное войной (Вторая мировая 1939-1945 и ВОВ) 1 месяц Саша из Киева RE:Подводное течение 2 месяца Впечатления о книгах
Belomor.canal про Сэнсом: Камни вместо сердец [litres] [Heartstone ru] (Исторический детектив, Триллер)
16 11 Вполне на общем уровне серии книга. Как ни странно присутствует современная проблематика и мерин Метью имеет самую оригинальную кличку из всех данными ему переводчиками! Оценка: отлично!
Belomor.canal про Сэнсом: Соверен [Sovereign ru] (Исторический детектив)
16 11 Одна из лучших книг серии! Здесь ещё мерин Мэтью имеет кличку Предок, но в следующей книге будет по другому. Как именно? Читайте и узнаете! Оценка: отлично!
Belomor.canal про Сэнсом: Мертвая земля [litres] [Tombland ru] (Исторический детектив, Детективы: прочее)
16 11 Прочитав все семь "сезонов" очень не хочется расставаться с полюбившейся компанией Тамзин Ридбурн, Джек Барак, Гай Малтон и конечно наш Мэтью. Так и хочется проехать до станции метро Holborn и пойти в Линкольнс-Инн к сержанту ……… Оценка: отлично!
Lan2292 про Бобров: Чужак. Том 1, том 2 [СИ] (Боевая фантастика, Фэнтези, Попаданцы, Самиздат, сетевая литература)
16 11 начинала три раза,дошла до второго тома, не нравится, скучно Оценка: плохо
udrees про Саркисянц: Английские корни Третьего Рейха. От британской к австро-баварской «расе господ» [Adolf Hitlers englische Vorbilder: Vom britischen zum ostmärkisch-bajuwarischen Herrenmenschentum [Vorlesungen[,] gehalten an der Heidelberger Universität.] ru] (История, Политика, Публицистика)
15 11 Поначалу интересно было читать, но потом книга кажется скатилась в один повтор, как все в Англии восхищались Гитлером и помогали ему начать войну. Первая половина книги ничего, описывается как Британия правила в колониях, ……… Оценка: неплохо
udrees про Мантикор: Город, которого нет 4 [СИ] (Фэнтези, Самиздат, сетевая литература)
15 11 По сравнению с предыдущими тремя книгами серии больше занимает поиск героем истины, своего пути. Боевых сцен достаточно немного, они есть и тоже имеют свою специфику, но идут не так непрерывно как в первых книгах. В целом ……… Оценка: хорошо
Belomor.canal про Юзефович: Зимняя дорога. Генерал А. Н. Пепеляев и анархист И. Я. Строд в Якутии. 1922–1923 (Историческая проза, Биографии и Мемуары, Документальная литература)
14 11 Чем эта "Зимняя дорога" (/b/805592) изданная в 2015 г отличается от уже залитой /b/564252 ???? Оценка: плохо
nevskaya25 про Муляр: Мать велела герань не поливать [сборник litres] (Современная проза)
14 11 Я не в курсе, кто эта Таша Муляр, чему она посвятила свою жизнь, кроме "писательства". Явно одно: автору за это дело браться не стоило, повар - вари борщи, экономист -цифры в столбик складывай. Но писать не надо. Это сложно, ……… Оценка: нечитаемо
nevskaya25 про Муляр: Рожденная быть второй [litres] (Современная проза, Современные любовные романы)
14 11 Начала читать, бросила, вернулась снова, поскольку есть привычка дочитывать начатое. Дочитала таки. Это не слабо, это очень слабо. Ощущение, что автор кроме газет ничего не читала в жизни. Хотела всяких цитат набросать, ……… Оценка: нечитаемо
Дей про Император Пограничья
14 11 Читать можно, но нужно учесть некоторые особенности. Все вокруг или подлые, или несчастные. Несчастных ГГ защищает, с подлыми воюет. Наивность, пафос и идеализм зашкаливают. На данный момент серия насчитывает 14 томов ………
Олег Макаров. про Мажор [Останин, Викторов]
13 11 Достаточно хорошо написано, чтобы я дочитал до конца и хотел прочитать продолжение. Мент из нашего времени попадает в сына князя в типа параллельный, магический мир когда тот умирает от наркоты. И по сложным , но реалистичным ………
Олег Макаров. про Кас: Оживший камень (Городское фэнтези, Самиздат, сетевая литература)
13 11 Вроде бы даже интересно. Но как-то занудно. Возможно, дело в том что очень медленно развивается сюжет. Прочитал 87% книги и бросил |
Комментарии
Отв: Знатоки Perl-а, помогите
Text::Iconv?
Отв: Знатоки Perl-а, помогите
Он, ЕЯПП, просто интерфейс к библиотеке iconv, а я очень сомневаюсь что она у меня есть. Да я даже сам этот Text::Iconv инсталлировать вряд ли смогу. Если б мог - добился бы работы от Unicode::Map8 :((
На всяк слу, вот конфигурация моего перла:
E:\>perl -V
Summary of my perl5 (revision 5 version 8 subversion 7) configuration:
Platform:
osname=MSWin32, osvers=5.0, archname=MSWin32-x86-multi-thread
uname=''
config_args='undef'
hint=recommended, useposix=true, d_sigaction=undef
usethreads=define use5005threads=undef useithreads=define usemultiplicity=define
useperlio=define d_sfio=undef uselargefiles=define usesocks=undef
use64bitint=undef use64bitall=undef uselongdouble=undef
usemymalloc=n, bincompat5005=undef
Compiler:
cc='cl', ccflags ='-nologo -Gf -W3 -MD -Zi -DNDEBUG -O1 -DWIN32 -D_CONSOLE -DNO_STRICT -DHAVE_DES_FCRYPT -DBUILT_BY_ACTIVESTATE -DNO_HASH_SEED -DUSE_SITECUSTOMIZE -DPERL_IMPLICIT_CONTEXT -DPERL_IMPLICIT_SYS -DUSE_PERLIO -DPERL_MSVCRT_READFIX',
optimize='-MD -Zi -DNDEBUG -O1',
cppflags='-DWIN32'
ccversion='12.00.8804', gccversion='', gccosandvers=''
intsize=4, longsize=4, ptrsize=4, doublesize=8, byteorder=1234
d_longlong=undef, longlongsize=8, d_longdbl=define, longdblsize=10
ivtype='long', ivsize=4, nvtype='double', nvsize=8, Off_t='__int64', lseeksize=8
alignbytes=8, prototype=define
Linker and Libraries:
ld='link', ldflags ='-nologo -nodefaultlib -debug -opt:ref,icf -libpath:"C:\Perl\lib\CORE" -machine:x86'
libpth=\lib
libs= oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.lib advapi32.lib shell32.lib ole32.lib oleaut32.lib netapi32.lib uuid.lib ws2_32.lib mpr.lib winmm.lib version.lib odbc32.lib odbccp32.lib msvcrt.lib
perllibs= oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.lib advapi32.lib shell32.lib ole32.lib oleaut32.lib netapi32.lib uuid.lib ws2_32.lib mpr.lib winmm.lib version.lib odbc32.lib odbccp32.lib msvcrt.lib
libc=msvcrt.lib, so=dll, useshrplib=yes, libperl=perl58.lib
gnulibc_version='undef'
Dynamic Linking:
dlsrc=dl_win32.xs, dlext=dll, d_dlsymun=undef, ccdlflags=' '
cccdlflags=' ', lddlflags='-dll -nologo -nodefaultlib -debug -opt:ref,icf -libpath:"C:\Perl\lib\CORE" -machine:x86'
Characteristics of this binary (from libperl):
Compile-time options: MULTIPLICITY USE_ITHREADS USE_LARGE_FILES
USE_SITECUSTOMIZE PERL_IMPLICIT_CONTEXT
PERL_IMPLICIT_SYS
Locally applied patches:
ActivePerl Build 813 [148120]
Iin_load_module moved for compatibility with build 806
PerlEx hacks for CGI::Carp
Less verbose ExtUtils::Install and Pod::Find
instmodsh upgraded from ExtUtils-MakeMaker-6.25
24699 ICMP_UNREACHABLE handling in Net::Ping
21540 Fix backward-compatibility issues in if.pm
Built under MSWin32
Compiled at Jun 6 2005 13:36:37
@INC:
C:/Perl/lib
C:/Perl/site/lib
.
E:\>
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Если речь идет о *nix и надо сделать быстро, то может быть попробовать выполнить из perl recode(1)? А потом, на досуге, повоевать с Unicode::Map8...
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Машина - винбокс (Win XP Pro), причем не девелоперская, на ней даже make нету и я не все смогу инсталлировать (комп не мой, компании).
И задача - конвертить строку, не файл... хотя если бы был на машине recode, можно было бы сплюнуть строку в файл и напустить на него recode... но его нет.
Собственно, задача - вынуть (перловым скриптом) из ~140,000 fb2-файлов (кодировки windows-1251, windows-1252, utf-8, koi8-r, iso-8559-1) строку с названием книги и сравнить. Я могу управиться с windows-1251, windows-1252, koi8-r, iso-8559-1, но вот на utf-8 произошел затык, чтоб его...
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Мейби так:
#!/usr/bin/perluse open IN => ':utf8', OUT => ':encoding(cp1251)';
use open ':std';
print while(<>);
?
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
А ноги у этой хрени растут из модуля Encode.pm.
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Так... кажется, в моем перле есть модуль Encode::Encoder -- Object Oriented Encoder... изучаю...
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
да-да-да
можно конвертнуть двумя способами:
use Encode qw(from_to encode decode);$str = "привет";
from_to($str, "utf8", "cp1251");
print $str;
$str = "привет";
print encode("cp1251", decode("utf8", $str));
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Кажись, заработало. Именно с использованием модуля Encode - спасибо, ground0!
Не обошлось без метода тыка и странностей, но вроде работает - кроме некоторых экзотических fb2-файлов, в которых указана кодировка iso-8859-1 или windows-1252, но буквы на самом деле содержатся в какой-то странной форме, типа HTML-символов, вот так:
Курс на
Если кому интересно - работает вот примерно такой код:
# NO!!! use encoding 'windows-1251';
# NO!!! use encoding 'utf-8';
use Encode;
...
my $tit = &sub_fb2_get_booktitle($des);
my $enc = &sub_fb2_get_encoding($des);
# nope... binmode(STDOUT,":utf8");
if( uc($enc) eq "WINDOWS-1252")
{
$tit = decode("iso-8859-2",$tit);
}elsif( uc($enc) eq "WINDOWS-1251" ){
$tit = decode("windows-1251",$tit);
}elsif( uc($enc) eq "ISO-8859-1" ){
$tit = decode("iso-8859-1",$tit);
}elsif( uc($enc) eq "KOI8-R" ){
$tit = decode("koi8-r",$tit);
}elsif( uc($enc) eq "UTF-8" ){
$tit = decode("utf-8",$tit); # yes, it's necessary!
}else{
printf("[%6d of %6d] Bad enc="%s" $fullfname_G\n",$curnum_G,$listsize_G,$enc);
}; # iffelse
###
# Works!!!
$tit = encode("windows-1251",$tit);
# Now tit is in win-1251
Отв: Знатоки Perl-а, помогите плз:
А можно на php? В прошлом веке я с такими проблемами часто сталкивался
тупое сопоставление
острое сопоставление
Отв: Знатоки Perl-а, помогите плз:
Ааагромадное спасибо! Переделал под Перл Ваше "острое сопоставление" - работает, саб-бака! :)) По крайней мере на тестовых двадцати файликах - работает как лялечка.
У меня, конечно, есть подозрение что где-то может и сбойнуть (я правильно понимаю, что код предполагает все utf-8 буквы двухбайтными?) но это уже поодиночке разбираться будем. Ща я его на все 100+ тысяч напущу, пусть поурчит и посмотрим что скажет...
Отв: Знатоки Perl-а, помогите плз:
Так... "острое сопоставление" все-таки слишком часто сбивается, если я правильно понимаю - на тире, кавычках, скобках и тому подобном.
Зато модуль Encode, кажется, работает.
Отв: нужен автономный код для конвертации utf-8 -> windows-1251
Питоновый код я тут где-то уже приводил