Update Portuguese Language

[filipecaixeta]

Description

bug fix / enhancement

• The previous tokenizer splits on hyphen. That was a problem because there are many words in Portuguese written with hyphen.
  micro-ondas (microwave), guarda-chuva (umbrella)
• Added currency symbol from Brazil (R$), including the old currency (Cz$, NCz$)
• Removed some stop words that sholdn't be there. Noite (night), viagem (trip), trabalhar (to work) and others.
• Included some stop words
• Fix like_num for numbers like 1º (1st)

[defijesus]

I have recently found an unexpected bug in the Sentence Segmentation for the Portuguese language.

Here is the script:

import spacy

nlp = spacy.load('pt')
text = open('texto.txt', 'r', encoding='utf-8').read()
doc = nlp(text)
i = 1

for sent in doc.sents:
	print(i)
	i = i+1
	res = sent.text.encode('utf-8')
	print(res)

Here is the input (3 sentences):

As enfermeiras parteiras admitem abandonar os locais de trabalho caso as negociações do Acordo Coletivo de Trabalho com a tutela falhem, disse hoje à agência Lusa, no Porto, o porta-voz do movimento "Enfermagem Unida", José Azevedo.
Em declarações à margem de uma vigília do movimento criado pelas enfermeiras parteiras de todo o país, que reuniu cerca de 50 profissionais de saúde na Avenida dos Aliados, o também presidente do Sindicato dos Enfermeiros (SE) informou "não se tratar de uma ameaça, mas de algo que fica em suspenso para o caso das negociações falharem".
Este é o movimento das enfermeiras parteiras que descontentes com a forma como as coisas estão a decorrer lutam, como nós, pela inclusão da sua especialidade na carreira que temos estado a negociar", informou o sindicalista.

Here is the output (4 sentences):

1
b'As enfermeiras parteiras admitem abandonar os locais de trabalho caso as negocia\xc3\xa7\xc3\xb5es do Acordo Coletivo de Trabalho com a tutela falhem, disse hoje \xc3\xa0 ag\xc3\xaancia Lusa, no Porto, o porta-voz do movimento "Enfermagem Unida", Jos\xc3\xa9 Azevedo.\n'
2
b'Em declara\xc3\xa7\xc3\xb5es \xc3\xa0 margem de uma vig\xc3\xadlia do movimento criado pelas enfermeiras parteiras de todo o pa\xc3\xads, que reuniu cerca de 50 profissionais de sa\xc3\xbade na Avenida dos'
3
b'Aliados, o tamb\xc3\xa9m presidente do Sindicato dos Enfermeiros (SE) informou "n\xc3\xa3o se tratar de uma amea\xc3\xa7a, mas de algo que fica em suspenso para o caso das negocia\xc3\xa7\xc3\xb5es falharem".\n'
4
b'Este \xc3\xa9 o movimento das enfermeiras parteiras que descontentes com a forma como as coisas est\xc3\xa3o a decorrer lutam, como n\xc3\xb3s, pela inclus\xc3\xa3o da sua especialidade na carreira que temos estado a negociar", informou o sindicalista.'

The substring "Avenida dos Aliados" is being recognised as:

"Avenida dos Aliados" is a place. What should be the desirable output here?

Hope we all can find a solution to this soon as spacy is a great project.

[filipecaixeta]

I have recently found an unexpected bug in the Sentence Segmentation for the Portuguese language.

Here is the script:

import spacy

nlp = spacy.load('pt')
text = open('texto.txt', 'r', encoding='utf-8').read()
doc = nlp(text)
i = 1

for sent in doc.sents:
	print(i)
	i = i+1
	res = sent.text.encode('utf-8')
	print(res)

Here is the input (3 sentences):

As enfermeiras parteiras admitem abandonar os locais de trabalho caso as negociações do Acordo Coletivo de Trabalho com a tutela falhem, disse hoje à agência Lusa, no Porto, o porta-voz do movimento "Enfermagem Unida", José Azevedo.
Em declarações à margem de uma vigília do movimento criado pelas enfermeiras parteiras de todo o país, que reuniu cerca de 50 profissionais de saúde na Avenida dos Aliados, o também presidente do Sindicato dos Enfermeiros (SE) informou "não se tratar de uma ameaça, mas de algo que fica em suspenso para o caso das negociações falharem".
Este é o movimento das enfermeiras parteiras que descontentes com a forma como as coisas estão a decorrer lutam, como nós, pela inclusão da sua especialidade na carreira que temos estado a negociar", informou o sindicalista.

Here is the output (4 sentences):

1
b'As enfermeiras parteiras admitem abandonar os locais de trabalho caso as negocia\xc3\xa7\xc3\xb5es do Acordo Coletivo de Trabalho com a tutela falhem, disse hoje \xc3\xa0 ag\xc3\xaancia Lusa, no Porto, o porta-voz do movimento "Enfermagem Unida", Jos\xc3\xa9 Azevedo.\n'
2
b'Em declara\xc3\xa7\xc3\xb5es \xc3\xa0 margem de uma vig\xc3\xadlia do movimento criado pelas enfermeiras parteiras de todo o pa\xc3\xads, que reuniu cerca de 50 profissionais de sa\xc3\xbade na Avenida dos'
3
b'Aliados, o tamb\xc3\xa9m presidente do Sindicato dos Enfermeiros (SE) informou "n\xc3\xa3o se tratar de uma amea\xc3\xa7a, mas de algo que fica em suspenso para o caso das negocia\xc3\xa7\xc3\xb5es falharem".\n'
4
b'Este \xc3\xa9 o movimento das enfermeiras parteiras que descontentes com a forma como as coisas est\xc3\xa3o a decorrer lutam, como n\xc3\xb3s, pela inclus\xc3\xa3o da sua especialidade na carreira que temos estado a negociar", informou o sindicalista.'

The substring "Avenida dos Aliados" is being recognised as:

"Avenida dos Aliados" is a place. What should be the desirable output here?

Hope we all can find a solution to this soon as spacy is a great project.

That's not a bug.
By default spaCy will use dependency parse to segment the sentences.
If you want to split on punctuation you should use sentencizer or a custom rule.

[ines]

👍