近日，AIbase从社交媒体平台获取最新信息，了解到一家专注于日语微调的HuggingFace模型提供者——Shisa.AI，其最新发布的日英双语模型引发业界广泛关注。本文将为您详细解读Shisa.AI的最新成果及其在日语AI领域的突破性进展。
Shisa V2405B:日本最强开源模型诞生
据AIbase了解，Shisa.AI最新发布了基于Llama3.1的Shisa V2405B模型，这一开源模型被誉为“日本有史以来训练的最强大型语言模型”。该模型不仅在日语任务上表现出色，还保留了强大的英语处理能力，展现了日英双语模型的卓越性能。
测试数据显示，Shisa V2405B在多项日语基准测试中超越了GPT-4及GPT-4Turbo，甚至与最新的GPT-4o和DeepSeek-V3在日语任务上不相上下。这一突破标志着日本本土AI实验室在全球AI竞争中的崛起，为日语AI应用开辟了新的可能性。
专注日语优化，微调技术再升级
Shisa.AI是一家总部位于东京的初创公司，专注于为日本市场开发和部署先进的开源AI语言和语音模型。AIbase了解到，与早期模型相比，Shisa V2系列放弃了昂贵的持续预训练和分词器扩展，聚焦于优化后训练流程，通过合成数据驱动的方法显著提升了模型性能。
其核心数据集ultra-orca-boros-en-ja-v1经过过滤、再生和重采样，被认为是目前最强大的日英双语数据集之一，适用于提升几乎任何基础模型的日语能力。这一数据集已在Apache2.0许可证下免费开放，为全球开发者提供了宝贵的资源。
广泛适用的模型家族，覆盖7B至405B
Shisa V2系列涵盖了从7B到405B参数的不同规模模型，满足从轻量级设备到高性能计算的多样化需求。AIbase获悉，这些模型在日语语法、角色扮演、翻译等任务上表现出色，特别是在shisa-jp-ifeval（日语指令遵循测试）、shisa-jp-rp-bench(日语角色扮演基准)和shisa-jp-tl-bench(日英翻译基准)等测试中，均优于各自的基础模型。
值得一提的是，Shisa V2405B在训练中融入了少量韩语和繁体中文数据，进一步增强了其多语言能力，为跨语言应用场景提供了更多可能性。
开源精神推动全球AI创新
Shisa.AI的努力不仅提升了日语AI的性能，还通过开源方式推动了全球AI社区的发展。AIbase注意到，Shisa V2系列的训练日志已在Weights and Biases平台公开，训练过程使用了AWS Sagemaker的4节点H100集群，结合Axolotl、DeepSpeed和Liger Kernel等先进技术，确保了高效的模型开发。
此外，Shisa.AI计划开源其日语专用基准测试工具，助力日语大型语言模型的研究和评估，为全球开发者提供更多支持。
未来展望:日本AI的全球竞争力
Shisa.AI的成功表明，即便是小型AI实验室，也能在全球AI竞赛中占据一席之地。其开源模型和数据集的发布，为日语AI应用的普及提供了强有力的支持。AIbase认为，随着Shisa.AI不断更新其模型和资源，日本在全球AI领域的地位将进一步巩固。
对于有复杂日语任务需求的开发者，Shisa V2系列无疑是一个值得尝试的强大工具。AIbase建议关注Shisa.AI官方网站和HuggingFace页面，获取更多技术细节和模型体验机会。
Shisa.AI通过其Shisa V2系列模型，展示了日本在AI领域的创新实力。无论是学术研究还是商业应用，这些开源模型都为日语AI的未来发展铺平了道路。
