你了解TikTok的人工智能体系吗?(上)

毛毛 90

大家都知道TikTok上有一个叫“for you”的功能,这个功能非常智能,会根据用户的喜好做推荐,深受大家喜爱,而这背后的的具体技术性其实就是人工智能。

 

TikTok推荐算法的构架可分为3个构成部分:大数据框架、人工神经网络以及分布式架构。

 

1、大数据框架

 

TikTok的大部分数据信息来源于用户的智能机,包含了系统软件和安装的应用软件等,TikTok特别关心用户的主题活动日志,例如收看时间、滚动、关注点赞、共享和评价等。

 

日志数据信息根据Flumescribe开展整理和归纳,他们根据管路传送到Kafka队列中。随后Apache StormApache Hadoop生态体系中的别的部件并行处理数据流分析。

 

Apache Hadoop生态体系是一个用以数据处理方法和储存的分布式架构。这包含第一代分布式系统数据处理系统MapReduce,它与批处理命令并行计算数据信息。

 

YARN是一个用以工作生产调度和群集资源优化配置的架构,HDFS是一个分布式存储,HBase是一个可拓展的分布式数据库,适用大中型报表的非结构化数据储存。

 

Hive是给予数据统计和查找的数据库管理基础设施建设。

 

Zookeeper是一个性能卓越的融洽服务项目。伴随着信息量的持续增长,即时数据处理方法架构应时而生。

 

ApacheSpark是第三代架构,有利于对互联网大数据工作中附和开展几近即时的分布式系统解决。Spark根据在存储空间中解决,来提高MapReduce的特性。在过去的数年里,TikTok运用了第四代架构Flink