blocks|key|5457542|text|有一种非常简单的方法可以做到这一点，假设你有需要识别的所有不同语言的语料库数据。这被称为n元语法建模。我认为Lingua::Identify已经做到了这一点，所以这是你最好的选择，而不是实现你自己的。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|5457543|entityMap|0|LINK|mutability|MUTABLE|url|http://search.cpan.org/~ambs/Lingua-Identify-0.51/lib/Lingua/Identify.pm^0|1I|G|0|0^^$0|@$1|2|3|4|5|6|7|L|8|@]|9|@$A|M|B|N|1|O]]|C|$]]|$1|D|3|-4|5|6|7|P|8|@]|9|@]|C|$]]]|E|$F|$5|G|H|I|C|$J|K]]]]

There is a pretty easy way to do this, given that you have corpus data in all the different languages you'll need to identify. It's called n-gram modeling. I think <a href="http://search.cpan.org/~ambs/Lingua-Identify-0.51/lib/Lingua/Identify.pm" rel="nofollow noreferrer">Lingua::Identify</a> does this already, though, so that is your best bet rather than implementing your own.

blocks|key|4045811|text|似乎有一个Perl模块可以做到这一点：Lingua::Identify|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|4045812|保罗。|4045813|entityMap|0|LINK|mutability|MUTABLE|url|https://metacpan.org/pod/Lingua::Identify^0|J|G|0|0|0^^$0|@$1|2|3|4|5|6|7|N|8|@]|9|@$A|O|B|P|1|Q]]|C|$]]|$1|D|3|E|5|6|7|R|8|@]|9|@]|C|$]]|$1|F|3|-4|5|6|7|S|8|@]|9|@]|C|$]]]|G|$H|$5|I|J|K|C|$L|M]]]]

There seems to be a Perl module for this: <a href="https://metacpan.org/pod/Lingua::Identify" rel="nofollow noreferrer">Lingua::Identify</a>

Paul.

blocks|key|4045848|text|我会说，你最好的办法是寻找关键词--文章之类的东西--这些关键词对于你正在寻找的语言来说是独一无二的。例如，"Un“将同时出现在西班牙语和法语中，但"une”是可识别的法语，而"unos“则可识别为西班牙语。发音符号也很有用--你会看到西班牙语和葡萄牙语中的"ñ“，法语中的"ç”和其他一些……诸如此类的。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|4045849|编辑-Paul的解决方案可能是最好的；看起来它使用了我概述的方法，外加一些额外的方法。|4045850|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|G|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|H|8|@]|9|@]|A|$]]]|E|$]]

I'd say your best bet is to look for key words - articles, that kind of thing - that are unique to the languages you're looking for. "Un" will show up in both Spanish and French, for example, but "une" is identifiably French whereas "unos", for example, is identifiably Spanish. Diacritics are useful too - you'll see "ñ" in Spanish and possibly Portuguese, "ç" in French and a few others... that kind of thing.

edit - Paul's solution is probably the best; looks like it uses methods like what I outlined, plus a few extra.

blocks|key|858401|text|通过在谷歌上搜索"determine+language+of+document“，我找到了许多不同的网站，它们会对你有所帮助。第一页上的第三个链接最终将我带到了Google+Code+API中的一个function，这正是您所需要的。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|858402|entityMap|0|LINK|mutability|MUTABLE|url|http://www.google.com/search?hl=en&client=firefox-a&rls=org.mozilla%253Aen-US%253Aofficial&hs=WWh&q=determine%2Blanguage%2Bof%2Bdocument&btnG=Search|1|http://code.google.com/apis/ajaxlanguage/documentation/#Detect^0|9|U|0|2R|8|1|0^^$0|@$1|2|3|4|5|6|7|N|8|@]|9|@$A|O|B|P|1|Q]|$A|R|B|S|1|T]]|C|$]]|$1|D|3|-4|5|6|7|U|8|@]|9|@]|C|$]]]|E|$F|$5|G|H|I|C|$J|K]]|L|$5|G|H|I|C|$J|M]]]]

By running a Google search for "<a href="http://www.google.com/search?hl=en&amp;client=firefox-a&amp;rls=org.mozilla%3Aen-US%3Aofficial&amp;hs=WWh&amp;q=determine+language+of+document&amp;btnG=Search" rel="nofollow noreferrer">determine language of document</a>" I found many different sites that will help you. The third link on the first page eventually led me to a <a href="http://code.google.com/apis/ajaxlanguage/documentation/#Detect" rel="nofollow noreferrer">function</a> in the Google Code API that is exactly what you need.

blocks|key|852965|text|谷歌翻译API很酷，并且有一个REST接口。但我需要给它发送很多大文件(是的，我可以使用摘录)，而且，即使谷歌是谷歌，我也不认为这是公平的。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|852966|文档也不是我的，我会问我的客户是否可以将它们发送给第三方(即使G迟早会得到它们；)。|852967|我想我将走进Perl路径...|852968|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|I|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|J|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|G|$]]

Google Translation API is cool, and has a REST interface. But I need to send it a LOT of BIG document (yes, I could use an excerpt) and, even if Google is Google, I don't think this
fair.

Document are also not mine, and Id ask my client if it is ok to send them to a third party (even if, soon or later, G will get them ;)).

I think I'll go trough the Perl path...

Is there a way (a program, a library) to approximately know which language a document is written in?

I have a bunch of text documents (~500K) in mixed languages to import in a i18n enabled CMS (Drupal)..

I don't need perfect matches, only some guess.

(human) Language of a document

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

有没有办法(程序、库)大致知道文档是用哪种语言编写的？我有一堆混合语言的文本文档(~500K)要导入到支持i18n的内容管理系统(Drupal.我不需要完美的匹配，只需要一些猜测。

问文档的(人类)语言
EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问文档的(人类)语言EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问文档的(人类)语言
EN