0X8d binary options

404 Cool IoT Coisas não encontradas MySQL codificação inferno: Como exportar dados UTF-8 de uma tabela latin1 21 de janeiro de 2017 Depois de atualizar um aplicativo Rails clientes e todas as suas gemas. Foi finalmente tempo para exportar o banco de dados MySQL. Para a surpresa de todos, os personagens além do ASCII estavam completamente quebrados, mesmo que a versão original da aplicação dos clientes funcionasse perfeitamente com personagens com diacríticos. Chinês ou mesmo cirílico. Este post fala sobre o problema real que vai debaixo da tampa de MySQL confortável, e como nós o resolvemos. Eu aconselho você a evitar saltar diretamente para a solução e estar perfeitamente seguro de que este é também o seu problema. Um método de diagnóstico é descrito no final deste documento. Introdução Todo mundo que lutou com codificações de caracteres, seja ao exportar bancos de dados MySQL ou simplesmente ao lidar com strings exóticas em Python (o famoso codificador ascii não pode codificar caracteres), sabe o quão infernal ele pode ser: de uma simples descodificação de codificação a dados codificados duplos , as possibilidades são infinitas. E o jargão é geralmente inútil para alvejar a fonte do problema. E quando se trata de charset MySQL e problemas de colação. Torna-se ainda pior. Porque o MySQL. Tem um charset de banco de dados padrão e collation. . Tem um charset de tabela e collation. . Tem um campo de texto charset e collation. Obviamente, este grau da especificação fornece MySQL com um poder grande ainda problemático. À medida que mais e mais aplicativos da Web são construídos com uma base de usuários global em mente, UTF-8 alcançou o status de padrão de facto quando se trata de escolher a codificação para usar no entanto, para aplicações já lá fora, a solução geralmente implica migrar o Banco de dados de um charset como latin1. E, em particular, sua collation latin1swedishci. Por que Porque latin1swedishci é a colação padrão para o conjunto de caracteres latin1, que por sua vez é o conjunto de caracteres padrão para o MySQL (como do MySQL 5.0). A maioria dos bancos de dados são criados usando esses padrões. Assim era nosso banco de dados de clientes. Mas latin1 é um charset de um único byte. Então não fazia muito sentido que o aplicativo de nossos clientes estivesse renderizando uma enorme variedade de alfabetos corretamente. Como um sidenote, eu deveria esclarecer que MySQLs latin1 não é ISO-8859-1 como se pode pensar, mas é de fato Windows-1252. Isso significa que é o mesmo que o oficial ISO 8859-1 ou IANA (Internet Assigned Numbers Authority) latin1, exceto que IANA latin1 trata os pontos de código entre 0x80 e 0x9f como Indefinido, enquanto cp1252 e, portanto, MySQLs latin1, atribuem caracteres para essas posições. Por exemplo, 0x80 é o sinal do Euro. Para as entradas indefinidas no cp1252, o MySQL traduz 0x81 para Unicode 0x0081, 0x8d para 0x008d, 0x8f para 0x008f, 0x90 para 0x0090 e 0x9d para 0x009d. O problema O problema real era que os dados UTF-8 haviam sido inseridos dentro dos campos latin1. Não uma única linha, obviamente: a maior parte da base de dados era, de fato, UTF-8. Mas mesmo quando chegamos a essa conclusão, algumas perguntas permaneciam: como poderiam os dados UTF-8 terem chegado lá no primeiro lugar E como os dados UTF-8 dentro dos campos latin1 poderiam ser renderizados corretamente (o que fez com que esse erro de codificação fosse silencioso) A resposta é Simples: Rails fez isso. Bem, não Rails per se. Imagine a seguinte seqüência de eventos: O banco de dados é criado usando as opções padrão do MySQL: um banco de dados com um charset latin1 nasce Um aplicativo Rails é desenvolvido usando o banco de dados existente, onde os usuários internacionais postam dados UTF-8 Os dados UTF-8 são tratados como Uma seqüência de caracteres multibyte. Mas erroneamente enviado para o MySQL como latin1 (devido a uma configuração errada no charset Rails usado para lidar com a conexão de banco de dados) MySQL recebe os dados supostamente latin1, tratando-a como uma seqüência multiaracteres de um único byte. Que é armazenado como está (o que significa que sofre nenhuma conversão), uma vez que os dados é supostamente usando o mesmo charset como o banco de dados. Isso também explica por que o usuário pode ver dados UTF-8: uma vez que também é recuperado como latin1 por Rails, a seqüência de multiaracteres supostamente de um único byte será interpretada corretamente como o caractere multibyte UTF-8 que representa (uma vez que nenhuma conversão é executada) , Terminando com uma página da web UTF-8. Tentamos mysqldump com várias bandeiras, substituindo charsets, mas nada realmente funcionou. Algumas soluções funcionaram parcialmente (mostrando diacríticos, mas não alfabetos além do latino). As soluções a serem descritas são o resultado combinado de várias soluções com nossas necessidades específicas. A solução Se você tem 100 certeza que este é o seu problema, você pode estar se perguntando como corrigi-lo (e eu tenho certeza que você sabe por agora que simplesmente fazer um mysqldump não vai fazer o truque). Vamos considerar suas opções: Você quer fazê-lo durante o processo de despejo, uma vez que você não pode dar ao luxo de fazê-lo em produção (ou você está simplesmente migrando e seu timing apenas bom) Você quer fazê-lo no próprio banco de dados (certifique-se de ter um Backup completo apenas no caso). Desde que não poderíamos dar ao luxo de fazê-lo na produção, optamos por fazê-lo durante a exportação do banco de dados. Fixação de dados no próprio banco de dados (dentro do banco de dados danificado) Nós escolhemos não realizar este tipo de solução em nosso banco de dados de clientes, mas a maioria das soluções visto o ponto on-line nesta direção. Wordpress Codex tem uma das melhores soluções documentadas Ive visto isso. O raciocínio por trás disso é que os dados estão realmente em um charset diferente do que o MySQL pensa que é, e mudá-lo levará o MySQL a uma tentativa errônea de conversão para o novo charset. Ao alterar anteriormente o tipo de campo para um tipo de campo binário (que não tem charset), evitamos essa tentativa para que nossos dados sejam deixados intactos para serem interpretados corretamente de acordo com seu novo charset. Vale a pena mencionar que esta solução precisa ser aplicada para todos os campos latin1, o que no nosso caso seria impraticável, dado o número de campos e tabelas. Fixar dados fora da Produção (fora da base de dados danificada) O raciocínio por trás desta solução está relacionado com a razão pela qual a importação de um mysqldump simples falha: O dump inclui tanto o esquema como os dados que o esquema irá criar as tabelas como latin1. Enquanto os dados serão UTF-8. Bem, acabamos por onde começamos. O MySQL tentará converter seus dados se achar necessário. Várias soluções apontaram para a mesma seqüência de comandos: mysqldump com --skip-set-charset --default-character-setlatin1 flags, para evitar a tentativa do MySQL de Reconversão e configuração de um charset. Substituindo cada ocorrência de CHARSETlatin1 por CHARSETutf8 (se usando sed. Perl ou qualquer editor de texto que suporta corretamente UTF-8 alguns editores podem quebrar o despejo). Isso garante que as tabelas são criadas com o charset correto. Restaurando o despejo. Com esta lógica em mente, uma combinação destas soluções foi alcançada, com um pequeno ajuste. Uma vez que a etapa de substituição deve ser feita em um arquivo ou através de pipelining, eu acredito que a melhor maneira de fazê-lo é separando o despejo de esquema dos dados em si. Dessa forma, a substituição pode ser realizada no despejo de esquema somente enquanto pipelining os dados diretamente para seu destino, sem executar sed sobre os dados (que deve ser maior que o esquema). Isso levou à sequência final: mysqldump do esquema de banco de dados, para um arquivo ou pipelined com as próximas 2 etapas. Substitua cada ocorrência de CHARSETlatin1 por CHARSETutf8 no despejo de esquema. Restaurando o despejo de esquema em um banco de dados recém-criado (com UTF-8 como padrão). Mysqldump dos dados com --skip-set-charset --default-character-setlatin1 sinalizadores, diretamente pipelined para o futuro destino mysql sessão. Que se traduz em: Eu deixei de fora as bandeiras de desempenho usual, como --compress. --uma única transação. --quick ou --opt. Bem como --maxallowedpacket. Mas você deve considerar combinando estes com seus dumps / imports. Eu recomendo a leitura Blue Box Post sobre este assunto: Blue Box Blog: Saindo do MySQL Character Set Hell. Eles analisam o problema em detalhes finos e sugerem várias soluções, mesmo abordando o problema de codificação dupla e tripla. Socialcast blogs: Rails 2, MySQL, e conjuntos de caracteres também é uma boa leitura sobre o assunto. Este post deve ser visto como uma mera tentativa de fornecer ao leitor uma explicação simples. Um método de diagnóstico e duas soluções. De acordo com as necessidades específicas. Notas laterais Diagnosticar o problema (a. k.a. Como saber se isso está acontecendo com seu banco de dados) Consultar o banco de dados para dados geralmente produzirá texto ilegível, se for esse o caso, tente usar o seguinte comando em uma sessão mysql, antes de consultar o banco de dados novamente. Se você está agora vendo seus dados corretamente, este é um forte indicador de que seu banco de dados latin1 sofre desta doença, uma vez que os resultados estão agora a ser interpretados como latin1. Nenhuma conversão é realizada e os dados UTF-8 agora estão sendo mostrados em seu terminal. Atenção: Eu recomendo que você use o cliente mysql para consultar os dados e evite usar o phpMyAdmin ou qualquer cliente elaborado para isso, uma vez que estes podem substituir os charsets de clientes e resultados, ocultando o problema. Reproduzindo o problema Execute esses comandos em uma sessão mysql. Seus dados foram inseridos corretamente, como mostra o comando SELECT. Agora termine sua sessão de cliente MySQL, faça login novamente e consulte a tabela para seus dados (usando o último comando de cima), mas desta vez sem definir o conjunto de caracteres de sessões. É que garbish familiar Referências principaisTargetRecruit listado como fornecedor representativo no Gartner 2017 Market Guide for Services Procurement Solutions. 26 de outubro de 2017 Dublin, CA O TargetRecruit, um dos principais sistemas de gerenciamento de mão-de-obra, construído sobre a plataforma Saleforce, foi listado como fornecedor representativo no Gartners October 2017 Market Guide for Services Procurement Solutions. De acordo com o relatório, os líderes de TI para as soluções de suprimento e terceirização podem usar essa pesquisa para encontrar fornecedores que suportem suas necessidades. TargetRecruit foi o único fornecedor construído no Salesforce para torná-lo para a lista. Gartner observou que o mercado empresarial para soluções de aquisição de serviços é dominado por provedores de VMS que oferecem suporte para CWM e na maioria dos casos, SOW procurement. Emerging freelancer sistemas de gestão (FMSs) e soluções de governança de serviços também estão em uso, mas normalmente foram investidos em Por áreas de negócio específicas para casos de negócios específicos. O mercado de sistemas robustos e integrados de aquisição de serviços e sistemas de gestão da mão-de-obra para contratados diretos, trabalhadores temporários e contratados, freelancers, gig workers e declarações de trabalho continua a crescer rapidamente em demanda e maturidade. A TargetRecruit é líder em reunir essas soluções em uma plataforma altamente configurável e acessível. A Gartner não endossa nenhum fornecedor, produto ou serviço descrito em suas publicações de pesquisa e não aconselha os usuários de tecnologia a selecionar apenas os fornecedores com as classificações mais altas ou outra designação. As publicações de pesquisa do Gartner consistem nas opiniões da organização de pesquisa do Gartner8217 e não devem ser interpretadas como declarações de fato. A Gartner renuncia a todas as garantias, expressas ou implícitas, com relação a esta pesquisa, incluindo quaisquer garantias de comercialização ou adequação a um propósito específico. Sobre TargetRecruit: TargetRecruit fornece soluções inovadoras para empresas em todo o mundo que querem se destacar na gestão de todo o seu talento aquisição e espectro de gestão de mão-de-obra para contratação direta, trabalho temporário e contrato, freelancers, contratantes independentes, declaração de trabalho e gig trabalhadores. O TargetRecruit é construído na plataforma Salesforce e oferece o máximo em configurações de aplicativos, acesso móvel e uma plataforma PaaS líder mundial, escalável e multi-inquilino. TargetRecruit é uma solução Avanka com mais de 100 funcionários e escritórios dos EUA em Dublin (CA) e Nashville (TN), bem como em Bangalore, na Índia. TargetRecruit está listado na lista de 2017 Inc. 5000 como uma das empresas de crescimento mais rápido nos EUA Post entrada do arquivo navigationText não está lendo campos binários corretamente Descrição Eu acredito que há um bug no passo de entrada de arquivo de texto (PDI 4.1.0, executando em Windows Vista), e eu quero compartilhá-lo com a equipe de desenvolvimento. O principal problema é: quando você está lendo um campo binário de arquivos de texto, alguns bytes são erroneamente convertidos em outro byte. Isso acontece especificamente para bytes: 0x81, 0x8D, 0x8F, 0x90 e 0x9D. Para reproduzir esse comportamento, Ive criar um único arquivo de texto binário de registro, contendo cada possível combinação de bytes (256 bytes de comprimento). Em seguida, uma transformação simples lê este arquivo (test-input. dat) e grava seu conteúdo novamente em outro arquivo (test-ouput. dat). Uma imagem mostra a comparação binária de ambos (entrada e saída). Eu esperava ser capaz de reproduzir a entrada exata, mas a realidade era diferente:. Primeiro de tudo, porque você não pode definir um separador de registro na etapa de arquivo de entrada de texto (enquanto eu sei). Você pode definir um separador de campo, mas você só pode escolher entre Unix, Dos ou formato misto para indicar whats o separador de registro. É melhor se você pode escolher essa quantidade de alternativas, e também especificar a seqüência de bytes personalizados que se encaixa melhor para a entrada do arquivo de texto. É também por isso que alguns bytes são interpretados como quebras de linha, mesmo se eles não são destinados como real linha disjuntores. . Em segundo lugar, porque alguns bytes (0x81, 0x8D, 0x8F, 0x90 e 0x9D) são alterados silenciosamente. . Uma quebra de linha é sempre inserida no final da etapa de saída de arquivo de texto. Talvez algumas pessoas desejem definir o que será o separador de registros, além dos padrões para Unix / DOS. Para dar mais pistas sobre este erro, o byte de reposição 3F corresponde ao char de perguntas no charset. Parece que se o registro binário está em algum lugar traduzido em uma seqüência de caracteres (para cada byte está recebendo um caractere) e, em seguida, traduzido de volta para um seqüência de bytes (na verdade, resultando em uma seqüência de byte diferente). Eu encontrei este comportamento estranho e vir acima com estas propostas de melhorias, porque eu tive que gerar arquivos de texto que registros tinham ambos os campos de seqüência de caracteres e binário. Geração de arquivo foi de alguma forma ok (exceto para a limitação para definir um separador de registro personalizado), mas tentando reverter o processo, a fim de obter as mesmas entradas têm sido impossível para o momento. Eu não tentei esse bug potencial em outras versões ou sistemas operacionais (apenas PDI 4.1.0, rodando no Windows Vista). É realmente um bug É possível tê-lo corrigido em versões anteriores Karel Reynaldo adicionou um comentário - 08 / Aug / 11 7:11 AM Estou realmente lendo um arquivo de texto (não um binário), mas o meu arquivo de texto contém tanto a seqüência de caracteres E campos binários. A razão para criar esse arquivo binário era descobrir onde os campos binários de processo estavam falhando. Vou dar uma olhada na fonte, e talvez eu possa dar mais idéias sobre o problema e sua solução, mas acho que isnacutet tão difícil de corrigir esse erro (é um erro, porque se eu dizer o campo binário, ele deve ler Como binário), e também fazer uma melhoria para permitir que os usuários indicam um delimitador de linha diferente (não apenas aqueles para unix / dos / mixed). Pode ser que eu possa lhe dar mais elementos para avaliar o problema. Apenas me pergunte o que você precisa. Karel Reynaldo adicionou um comentário - 08 / Aug / 11 7:11 AM Estou realmente lendo um arquivo de texto (não um binário), mas o meu arquivo de texto contém tanto seqüência de caracteres e campos binários. A razão para criar esse arquivo binário era descobrir onde os campos binários de processo estavam falhando. Vou dar uma olhada na fonte, e talvez eu possa dar mais idéias sobre o problema e sua solução, mas acho que isnacutet tão difícil de corrigir esse erro (é um erro, porque se eu dizer o campo binário, ele deve ler Como binário), e também fazer uma melhoria para permitir que os usuários indicam um delimitador de linha diferente (não apenas aqueles para unix / dos / mixed). Pode ser que eu possa lhe dar mais elementos para avaliar o problema. Apenas me pergunte o que você precisa. Jared Cornelius adicionou um comentário - 12 / Aug / 11 8:13 AM