Преобразование из windows 1251 в utf 8

[Результат перекодировки появится здесь...]

$time = microtime(true);

$db = ‘vspomni’;
$login = ‘vspomni’;
$passw = »;
$host = ‘vspomni.ru’;

$res = mysql_connect($host, $login, $passw);
mysql_select_db($db);

mysql_query(‘SET NAMES utf8;’);

$rs = mysql_query(‘SHOW TABLES;’);
print mysql_error(); //the notorious ‘command out of synch’ message
while (($row=mysql_fetch_assoc($rs))!==false) {

$time1 = microtime(true);
//print $row[‘Tables_in_vspomni2’].»\n»;
$table_name = $row[‘Tables_in_’.$db];
$query = ‘SHOW CREATE TABLE ‘.$table_name;

$row_create = mysql_query($query);
print mysql_error();
$row1 = mysql_fetch_assoc($row_create);

if (strpos($row1[‘Create Table’], ‘DEFAULT CHARSET=utf8’) !== false)
{
print ‘Table ‘.$table_name.’ — skipped’.»\n»;
continue;
}

$create_table_scheme = str_ireplace(‘cp1251’, ‘utf8’, $row1[‘Create Table’]); // CREATE TABLE SCHEME
$create_table_scheme = str_ireplace(‘ENGINE=InnoDB’, ‘MyISAM’, $create_table_scheme);
$create_table_scheme .= ‘ COLLATE utf8_bin’;

//print $create_table_scheme;
//continue;

$query = ‘RENAME TABLE ‘.$table_name.’ TO ‘.$table_name.’_tmp_export’; // RENAME TABLE;
mysql_query($query);
$error = mysql_error();
if (strlen($error) > 0)
{
print $error.’ — LINE ‘.__LINE__.»\n»;
break;
}

$query = $create_table_scheme;
mysql_query($query);
$error = mysql_error();
if (strlen($error) > 0)
{
print $error.’ — LINE ‘.__LINE__.»\n»;
break;
}

$query = ‘ALTER TABLE ‘.$table_name.’ DISABLE KEYS’;
mysql_query($query);
$error = mysql_error();
if (strlen($error) > 0)
{
print $error.’ — LINE ‘.__LINE__.»\n»;
break;
}

$query = ‘INSERT INTO ‘.$table_name.’ SELECT * FROM ‘.$table_name.’_tmp_export’;
mysql_query($query);
$error = mysql_error();
if (strlen($error) > 0)
{
print $error.’ — LINE ‘.__LINE__.»\n»;
break;
}

$query = ‘DROP TABLE ‘.$table_name.’_tmp_export’;
mysql_query($query);
$error = mysql_error();
if (strlen($error) > 0)
{
print $error.’ — LINE ‘.__LINE__.»\n»;
break;
}

$time3 = microtime(true);
$query = ‘ALTER TABLE ‘.$table_name.’ ENABLE KEYS’;
mysql_query($query);
$error = mysql_error();
if (strlen($error) > 0)
{
print $error.’ — LINE ‘.__LINE__.»\n»;
break;
}

print ‘Enable keys to ‘.$table_name.’. time -‘.(microtime(true) — $time3).»\n»;
print ‘converted ‘.$table_name.’. time — ‘.(microtime(true) — $time1).»\n\n»;

}
mysql_free_result($rs);

print ‘done. total time -‘.(microtime(true) — $time);
?>

Ниже история одной моей довольно забавной ошибки. Воистину, программист
никогда не заскучает; даже имея в руках идеальный инструмент, он
сможет применить его неправильно. Что уж говорить об инструментах неидеальных?

Может показаться удивительным, но в просвещённом 2020-ом году всё ещё
существуют разработчики, которые полагают, что нет ничего криминального в
использовании кодировки windows-1251 при отдаче с эндпойнта
API контента, содержащего кириллицу. Бог им судья, мне же
пришлось искать способ этот самый контент безболезненно конвертнуть в
благословенный юникод.

Забегая вперёд скажу, что задача, по сути, была примитивнейшая, однако
я был бы не я, если бы не устроил себе цирк на ровном месте.

Итак, берём входящие байты и конвертим их в юникод
(обработка ошибок и прочие закрытия body убраны для краткости).

dec := charmap.Windows1251.NewDecoder()
out, _ := dec.Bytes(a)

var meter dmc.Meter
_ = json.Unmarshal(out, &meter)

log.Print(meter.MeterName)

Что я ожидал увидеть? “ЭЛЕКТРОСНАБЖЕНИЕ”(я кажется, не упоминал,
что работаю в ЖЭКе). А что я увидел? “пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ”

Признаться, результат меня озадачил и я кинулся искать,
где и то пошло не так, однако все предлагаемые гуглом способы
давали неизменно один и тот же результат.
Начальник едко отметил, что процесс у меня идемпотентный —
какой бы способ перекодировки не применялся, получается неизменно говно,
и ушёл домой, я же остался чесать в затылке.

Тут меня осенило — если от смены способа перекодировки результат не меняется,
значит, проблема прячется где-то в другом месте. Минут пятнадцать я пытался
понять, могут ли разработчики того самого API присылать в хедере кодировку
Windows-1251, а в тексте что-либо другое, однако Postman убедил меня,
что, по крайней мере, тут всё честно — контент закодирован именно в
Windows-1251. Тогда я решил проследить весь путь данных, от получения до вывода
в консоль и почти сразу принялся драть волосы из бороды,
проклиная собственную тупость.

Следите за руками.
Контент приходит в формате json, такой вот структуры:

{
    "contents": [],
    "result": {
        "code": 1,
        "message": "some message"
    }
}

Поскольку я использую строго типизированный Go, и меня больше интересует не
служебная информация, а тот самый контент, то данные проходят следующую
обработку (я опускаю нерелевантный заметке код):

type Result struct {
	Code    int
	Message string
}

type Response struct {
	Contents []interface{}
	Result   Result
}

content := [][]byte{}

var response Response
_ = json.Unmarshal(res_body, &response)

for _, item := range response.Contents {
    item_bytes, _ := json.Marshal(item)
    content = append(content, item_bytes)
}

И вот этот самый content и есть то, с чем уже можно работать,
маршалить его в структуры, отправлять письмом на деревню дедушке, и т.д.,
но вот тут-то и спряталась ошибка: первый анмаршаллинг пришедших байтов
сконвертил кириллицу в совершенно нечитаемые иероглифы, поскольку
корректно он умеет работать только с юникодом. А далее я получившиеся
каракули собственноручно смаршалил в байты и попытался сконвертировать
заранее нечитаемые символы в юникод и вполне ожидаемо получил на
выходе именно его — говно на лопате.

Как понимаете, после того, как я перенёс перекодирования данных
в самое начало, сразу после после их получения, ситуация исправилась:

resp, _ := client.Get(url)
res_body, _ := ioutil.ReadAll(resp.Body)

dec := charmap.Windows1251.NewDecoder()
out, _ := dec.Bytes(res_body)

content := [][]byte{}

var response Response
err = json.Unmarshal(out, &response)

for _, item := range response.Contents {
    item_bytes, _ := json.Marshal(item)
    content = append(content, item_bytes)
}

// ----

var meter dmc.Meter
_ = json.Unmarshal(out, &meter)

log.Print(meter.MeterName) //--> ЭЛЕКТРОСНАБЖЕНИЕ

Надеюсь, эта заметка поможет вам избежать подобной ошибки.