China Focus: Data-labeling: the human power behind Artificial Intelligence

Source: Xinhua| 2019-01-17 20:42:21|Editor: ZX
Video PlayerClose

BEIJING, Jan. 17 (Xinhua) -- In a five-story building on the outskirts of Beijing, 22-year-old Zhang Yusen stares at a computer screen, carefully drawing boxes around cars in street photos.

As artificial voices replace human customer services in call centers and robots replace workers on production lines, Zhang, a vocational school graduate, has found a steady job: data-labeling, a new industry laying the groundwork for the development of AI technologies.

SUPERVISED LEARNING

As the "artificial" part of AI, data labeling receives much less media attention than the "intelligence" part of computer algorithms.

Facial recognition, self-driving, diagnosis of tumors by computer systems and the defeat of best human Go player by Alpha Go are ways AI technologies have amazed in recent years.

However, for researchers, the current AI technologies are still quite limited and at an early stage.

Professor Chen Xiaoping, director of Robotics Lab at the University of Science and Technology of China, said all AI technologies so far have come from "supervised" learning in which an AI system is trained with specific forms of data.

Take training a machine to recognize dogs for instance: the system must be fed vast numbers of pictures labeled by humans to tell the system which pictures have dogs and which don't.

Chen noted the human brain is excellent at processing unknown information with reasoning, but it is still impossible for AI. A kindergartener can make the guess of soccer ball from clues like "a black and white round object you can kick," but it's not a easy task for AI. An AI system might be able to tell all different kinds of dogs, but it cannot tell a stuffed animal is not real if such images are not sent to the system.

Yann LeCun, AI scientist at Facebook and widely considered one of the "godfathers" of machine-learning, said recently, "Our best AI systems have less common sense than a house cat."

Behind powerful AI algorithms are vast complicated dataset built and labeled by humans.

ImageNet is one of the world's largest visual databases designed to train AI systems to see. According to its inventors, it took nearly 50,000 people in 167 countries and regions to clean, sort and label nearly a billion images over more than three years.

QUALITY CHECKING

For top researchers like Chen Xiaoping, the next AI breakthrough is expected in self-supervised or unsupervised learning in which AI systems learn without human labeling. But no one knows when it will happen.

"I think in the next five to 10, maybe 15 years, AI systems will still rely on labeled data." said Du Lin, CEO and founder of data-labeling firm BasicFinder.

Du published his first paper about computer vision when he was in high school. After graduating from college, his first windfall came from selling a startup data-digging firm for 4 million U.S. dollars.

In 2014, Du and his partners noticed the rise of AI deep-learning and founded BasicFinder. The company is now a leading data-labeling company, with clients including Stanford University, the Chinese Academy of Sciences, China Mobile and Chinese AI startup SenseTime.

At BasicFinder, a typical work flow starts with taggers like Zhang Yusen. After training two to three months, they draw boxes around cars and pedestrians in street photos, tag ancient German letters, or transcribe snatches of speech.

The labeled images are submitted to quality inspectors who check 2,000 pictures a day. If one image is found inaccurately tagged in every 500 images in random checks, the company is not paid the original price. If the error rate exceeds 1 percent, clients can ask to change data-taggers.

Du said the company has been optimizing work flow to ensure greater accuracy as well as to protect intellectual property and privacy.

HUMAN IN LOOP

A model that requires human interaction is called "human in the loop" and humans remain in the loop much longer than many have expected, said Du.

Data-taggers now work on outsourcing platforms as far afield as Mexico, Kenya, India and Venezuela. Anyone can create an account to become a freelance data-tagger.

But Du strongly disagrees that data-labeling companies, depicted in some media reports as "the dirty little secret" of AI, resemble Foxconn's infamous iPhone factories.

He noted that due to the nature of AI deep-learning, it is the greater accuracy of labeled data that keeps a company alive and thriving, rather than low prices and cheap labor.

China's Caijing magazine reported in October last year that about half of data-labeling companies in China's Henan Province went bust in 2018 as orders dried up.

Du said that in the past two years, many found data-labeling a tough market. The first spurt of growth has ended and a lot of workshop-like companies have been knocked out.

A full-time data-tagger at BasicFinder can earn 6,000 to 7,000 yuan a month, along with accommodation and social benefits. In the first three quarters of 2018, the disposable income per capita in Beijing was 46,426 yuan, around 5,158 yuan a month, according to local government statistics.

Zhang Yusen and his girlfriend, who also works at BasicFinder as a quality inspector are so far enjoying their work.

TOP STORIES
EDITOR’S CHOICE
MOST VIEWED
EXPLORE XINHUANET
010020070750000000000000011100001377521541
内江涂赝汽车维修投资有限公司 购彩中心 彩神8 东方彩票 welcome购彩中心 彩神彩票购彩平台 1分快三 五五世纪平台 彩神ix 彩神彩票 55世纪 大发购彩中心 大发彩票welcome 彩神8v 3分快三 凤凰彩票官方网站 极速快3购彩平台 彩神 东方彩票 直播快三 10分pk10 五分快乐十分 乐发app 凤凰彩票 乐发彩票 凤凰彩票官方网站 极速快3购彩平台 彩神 东方彩票 直播快三 10分pk10 五分快乐十分 乐发app 凤凰彩票 乐发彩票 凤凰彩票官方网站 极速快3购彩平台 彩神 10分pk10 快三彩票购彩平台 55世纪购彩平台 welcome购彩中心 百姓快三 彩88 大發5分快3 乐发VI 大发系列平台 百度彩票 快三平台 快三彩票购彩平台 55世纪购彩平台 大发welcome 百姓快3 乐乐彩 一分11选5 乐发Vll 乐发网投平台 快三网站 快3平台 快三彩票 55世纪官方网站 大发welcome 百姓快3 乐乐彩 大发彩票购彩平台 五五世纪 大发快乐8 welcome大发彩票 凤凰快3 3分快3 重庆快3 乐发lll 幸运5分彩 55世纪官网 大发彩票购彩平台 五五世纪 大发快乐8 3分快3 重庆快3 乐发lll 幸运5分彩 55世纪官网 大发彩票购彩平台 五五世纪 大发快乐8 welcome大发彩票 凤凰快3 3分快3 凤凰彩票app下载 快3平台 Welcome彩神 10元投资彩票赚钱平台 PK彩票 5分pk10 分分快3 乐发Ⅲ 优彩彩票 网信快3 凤凰彩票app下载 快3平台 Welcome彩神 10元投资彩票赚钱平台 PK彩票 5分pk10 分分快3 乐发Ⅲ 优彩彩票 网信快3 凤凰彩票app下载 快3平台 Welcome彩神 10元投资彩票赚钱平台 PK彩票 5分pk10 快3彩票购彩平台 快3购彩平台 一分快3 大發3分快3 乐发lx 五分快三 vip彩票购彩大厅 网信快三 快3彩票购彩平台 快3购彩平台 welcome手机购彩 大发云app 一分快3 大發3分快3 乐发lx 五分快三 vip彩票购彩大厅 网信快三 快3彩票购彩平台 快3购彩平台 welcome手机购彩 大发云app 彩88 大发彩票官方网站 乐彩 大发彩票快乐8 购彩中心 彩神iv争霸 5分快3 山西快3 乐发ll 大发购彩大厅welcome 大发彩票 大发彩票官方网站 乐彩 大发彩票快乐8 购彩中心 彩神iv争霸 5分快3 山西快3 乐发ll 大发彩票官方网站 乐彩 大发彩票快乐8 购彩中心 彩神iv争霸 5分快3 彩神彩票购彩平台 乐发彩票 彩神Welcome入口 天天中平台 彩神v 3分pk10 乐彩彩票 乐发3彩票APP 五五世纪平台 welcome大发彩票 彩神彩票购彩平台 乐发彩票 彩神Welcome入口 天天中平台 彩神v 3分pk10 乐彩彩票 乐发3彩票APP 五五世纪平台 welcome大发彩票 彩神彩票购彩平台 乐发彩票 彩神Welcome入口 天天中平台 彩神v 3分pk10 快3彩神官方网站 快3购彩中心 手机购彩 一分三可空降可约app下载 1分快3 三分PK10 乐发lv 网信彩票 快3彩神官方网站 快3购彩中心 手机购彩 一分三可空降可约app下载 1分快3 三分PK10 乐发lv 大众购彩 名发app 网信彩票 快3彩神官方网站 快3购彩中心 手机购彩 一分三可空降可约app下载 1分快3 凤凰彩票 极速快三 大发快乐8官方网站 采彡神争霸 天天彩票 10分快3 三分11选5 乐发III 百姓彩票welcome 乐发 凤凰彩票 彩信平台 大发快乐8购彩平台 彩神8 幸运快三 五分快3 湖南快3 乐发IV 55世纪-购彩大厅 网信快三 大发彩票app下载 彩信平台 大发快乐8购彩平台 彩神8 彩神彩票官方网站 乐发彩票购彩平台 彩神Welcome登录入口 彩神v8 彩票宝 大发pk10 乐发国际 乐发1 鼎发彩票 买大小平台赚钱 彩神彩票官方网站 乐发彩票购彩平台 彩神Welcome登录入口 彩神v8 彩票宝 大发pk10 乐发国际 乐发1 鼎发彩票 买大小平台赚钱 彩神彩票官方网站 乐发彩票购彩平台 彩神Welcome登录入口 彩神v8 彩票宝 大发彩票 快三彩票官方网站 彩神购彩中心 welcome凤凰彩票 神彩v8 1分快三 四川快3 乐发ll下载app 一分快3平台 星辰阁彩票购彩大厅 大发彩票 快三彩票官方网站 彩神购彩中心 welcome凤凰彩票 四川快3 乐发ll下载app 一分快3平台 星辰阁彩票购彩大厅 大发彩票 快三彩票官方网站 彩神购彩中心 welcome凤凰彩票 神彩v8 1分快三 凤凰彩票购彩平台 极速快3 大发快乐8官网 网信彩票 彩神网 10分快三 三分PC蛋蛋 乐发app下载 快盈iv 乐发IV彩票购彩中心 凤凰彩票购彩平台 极速快3 大发快乐8官网 网信彩票 彩神网 10分快三 三分PC蛋蛋 乐发app下载 快盈iv 乐发IV彩票购彩中心 凤凰彩票购彩平台 极速快3 大发快乐8官网 网信彩票 天天彩票 10分快3 快3彩票 乐发彩票官方网站 彩神welcome 大发三分快3 乐发彩票ll 乐发 快盈IV500 welcome彩神 快3彩票 乐发彩票官方网站 彩神welcome 在线快3 大发彩票www官方 大发三分快3 乐发彩票ll 乐发 快盈IV500 welcome彩神 快3彩票 乐发彩票官方网站 彩神welcome 在线快3 大发彩票www官方 彩神彩票 55世纪 大发购彩中心 大发彩票welcome 彩神8v 3分快三 五分飞艇 乐发lll下载 万乐彩 彩神ix 彩神彩票 55世纪 大发购彩中心 大发彩票welcome 彩神8v 3分快三 五分飞艇 乐发lll下载 万乐彩 55世纪 大发购彩中心 大发彩票welcome 彩神8v 3分快三 凤凰彩票官方网站 极速快3购彩平台 彩神 东方彩票 直播快三 10分pk10 五分快乐十分 乐发app 凤凰彩票 乐发彩票 凤凰彩票官方网站 极速快3购彩平台 彩神 东方彩票 直播快三 10分pk10 五分快乐十分 乐发app 凤凰彩票 乐发彩票 凤凰彩票官方网站 极速快3购彩平台 彩神 东方彩票 直播快三 10分pk10 快三彩票购彩平台 55世纪购彩平台 welcome购彩中心 百姓快三 彩88 大發5分快3 乐发VI 大发系列平台 快三彩票购彩平台 55世纪购彩平台 大发welcome 百姓快3 乐乐彩 一分11选5 乐发Vll 乐发网投平台 快三网站 快3平台 快三彩票 55世纪官方网站 大发welcome 百姓快3 乐乐彩 大发彩票购彩平台 五五世纪 大发快乐8 welcome大发彩票 凤凰快3 3分快3 彩神彩票官方网站 乐发lll 快3官网 极速快3平台 五五世纪 全国快3app下载安装 乐发彩票官方网站 乐发lv 快3app官网 极速快3 乐发彩票购彩平台 55世纪 快3官网下载app 乐发ll 凤凰彩票购彩平台 乐发彩票 凤凰彩票app下载 彩神彩票购彩平台 凤凰彩票app下载 凤凰彩票官方网站 大发彩票 乐发彩票 乐发ll 55世纪 极速快3 快3平台 快3app下载 55世纪官方网站 55世纪购彩平台 极速快3 乐发ll 彩神Vll 乐发彩票 幸运快3 55世纪官方网站 乐发lll 彩神vi Welcome彩神 五五世纪 乐发彩票 快3平台 10元投资彩票赚钱平台 快3平台 百姓快3 55世纪购彩平台 1分快3 彩神v Welcome彩神 幸运快3 快3app官网 百姓快3 乐发lll 一分快3官网 welcome大发彩票 10元投资彩票赚钱平台 乐发彩票官方网站 彩神v 乐发ll PK彩票 大发快乐8 神彩lv 彩神Vll 大发welcome 极速快3 55世纪 快3app下载 采彡神争霸 1分快3 大发快乐8 极速快3平台 彩神vi welcome盈彩购彩大厅 彩神vll首页 welcome大发彩票 乐发快3平台 幸运快3 乐发lll 乐发lv 大发彩票 幸运快3 大发彩票 乐发ll 彩神xl 大发彩票 全民彩票 大发排列3 凤凰彩票 乐发v平台 彩神彩票 快3官网 快三下载app 网信快3 快三官方正版 乐发lv 快3彩票 乐发II 大发彩票 快三官方 凤凰彩票 一分时时彩 快三官网 乐发lv 乐发lll下载 乐发lv 乐发ll 快三推荐平台 乐发II 乐发彩票中心 大发彩票app 快三下载平台 大发彩票 乐发 凤凰快3 彩神iv 极速快3 乐发快3平台 快三app 网信彩票 乐发lv 凤凰彩票官方 快3在线平台 彩神x 凤凰快3 大发购彩 乐发Vll 乐发lv 大发彩票 快彩彩票 乐发app 快三购彩 乐发ii下载入口 凤凰彩票app下载 乐发IV 大发彩票 网信彩票 凤凰快3 彩神xl 凤凰彩票 快3平台 乐发 快三正版 凤凰彩票 pk彩票 乐发v官网 乐发ll 大发官网 乐发app 乐发彩票中心 乐发彩票app下载 快三网址 快3平台 大发彩票 分分快3 大小单双平台 乐发ll下载app 快三平台app下载 网信彩票 彩神购彩平台 乐发彩票 彩神xl 快3平台 乐发快3平台 分分快3 大小单双平台 乐发lll 网信彩票 官网快3 快3官网 快三网 乐发lv 乐发app 55sj世纪首页 彩神1 乐发lll 彩神彩票 乐发app 乐发彩票 乐发彩票app下载 乐发iv 彩神x 乐发iv首页 大发彩票 乐发快3平台 乐发IV 快三官方正版 快三代理 快三下载平台 快三正版 大发彩票 乐发网投平台 凤凰彩票app 一分pk10 大发彩票 welcome凤凰彩票 乐发VI 快三王者 彩神彩票 大发彩票 百姓彩票 乐发lll 乐发lll 500大发 乐发 500大发 凤凰彩票app下载 凤凰彩票 乐发ll登录 大发彩票 快三官网平台推荐 网信彩票 乐发lll 快三网站 官网快3 幸运5分彩快3 乐发v官网 大发彩票 乐发官网 乐发lv 三分快3 乐发lv 凤凰彩票 快彩彩票 一分时时彩 乐发彩票app下载 快三官网平台推荐 幸运快3 网信彩票 welcome彩神 彩神彩票 乐发lv 快3彩票官网app 幸运快3 快三网赚 百姓彩票平台 乐发app 大发排列3 快3彩票 快三平台 乐发彩票 彩神购彩平台 百姓彩票 乐发2 凤凰彩票官方 乐发彩票 彩神彩票 快三网站 大发彩票 快三下载app 乐发ll 乐发IV 彩神vl 大发彩票 百姓彩票 每日彩票 乐发彩票app下载 welcome彩神 乐发app下载 快三官方 快盈彩票 乐发lv 乐发ll 乐发lv入口 凤凰彩票 乐发lx 大发彩票 乐发lv 乐发网投资平台 凤凰彩票 彩神app下载安卓版 乐发网投平台 彩神官方app下载安卓版 快三官网 快三正版 盈彩网投资平台 盈彩网投资平台 网信彩票 乐发彩票 全民彩票 乐发ii下载入口 极速快3 凤凰彩票购彩平台 官网快3 乐发彩票app下载 55sj世纪首页 乐发2 凤凰彩票登录 乐发ll 凤凰彩票app 凤凰彩票 乐发iv首页 彩神xl 大小单双平台 大发彩票安卓下载 乐发app 凤凰彩票 大发彩票 凤凰彩票 乐发网投资平台 每日彩票 百姓彩票网站网址 大发app 乐发lll 凤凰彩票 凤凰彩票 大发彩票 welcome彩神 乐发 彩神x 乐发III 快三网赚 大发10分PK10 三分快3 乐发ll 大发500 乐发app 大发彩票 快3平台 乐发平台 大发官网 快3彩票 乐发lv 乐发v官网 乐发iv首页 乐发v平台 凤凰彩票 彩神vl 乐发2 乐发lv 网信彩票 乐发彩票 彩神彩票官网首页 乐发∨Il 乐发彩票中心 大发彩票app 百姓彩票 彩神app下载安卓版 快盈彩票 盈彩网投资平台 乐发网投资平台 乐发官网 彩神彩票 乐发lll 快三网 大发app 幸运5分彩快3 大发购彩 乐发lv 网信彩票 pk彩票 凤凰彩票 乐发 彩神vl 快三网址 乐发ll 快三正规 快三下载平台 快三网赚 乐发Vll 乐发lll下载 大发官网 凤凰彩票app下载 快三网址 快盈彩票 乐发彩票 乐发ll 乐发平台 快彩彩票 乐发彩票 凤凰彩票 快三购彩 乐发app 网信彩票平台 乐发lll 乐发 凤凰彩票app下载 快三平台 凤凰彩票登录 乐发lv入口 彩神官方app下载安卓版