Testing Artificial Intelligence: How Low Can You Go?
TechWell vừa cho ra một bài viết rất có giá trị về kiểm thử trí thông minh nhân tạo (Artificial Intelligence) từ Ông Hans Buwalda, Giám đốc Công nghệ của Tập đoàn LogiGear -Một chuyên gia được quốc tế công nhận về phát triển, quản lý công nghệ kiểm thử và là người tiên phong về tự động hóa kiểm thử theo từ khóa.
Testing Artificial Intelligence: How Low Can You Go?
By Hans Buwalda - July 12, 2018
link: https://www.techwell.com/techwell-in...low-can-you-go
Artificial intelligence (AI) has been around for a long time with periods of great interest but also with "AI Winters" when public interest waned. Today, with the increasing power of hardware and infrastructure and the interest by big players in multiple industries, AI is propelling to the forefront once more. With the growing importance of AI comes the question: How do I test it? AI systems do not necessarily behave predictably. This means that traditional test cases of the form "do this, expect that" are not always sufficient.
Kenneth Boulding wrote an article in 1956 on a hierarchical classification of systems that I found very useful in thinking about them. For him, the lowest level of systems were static systems, like a table or a chair. The next level up was a clock that moves. Then came the thermostat that actively responded to input. Next up were living cells that maintained themselves, then plants that were loosely connected colonies of cells, then animals in which the cell colonies form a being with coordinated behavior. Humans have the properties of animals but can also think and are self-conscious. In the words of Boulding, “a human not only knows, but knows that it knows." His final two levels were social organizations and a possible "transcendental" level that supersedes all but that he considered unknowable and therefore was not specified further in his article.
Simplified, I believe we can consider most computer systems at the "thermostat" level, in that they can perform actions based on input. Traditional test cases are a level lower. When they are executed, they provide input and compare outcomes in a predictable way, like the clock in Boulding's hierarchy. I believe this is a structural property in testing systems: they can be a level lower than their system under test but not lower than that.
In applying AI systems to the Boulding hierarchy, it seems reasonable to assume that they are at least one level above the thermostat, especially if they can learn and improve themselves. Traditional test cases will not suffice to test them. Some other kind of model will be needed to drive the testing system, raising it the thermostat level. The model can detect where the AI application is going and if its outcomes are at least as expected. Take an AI powered traffic light control system. If an intersection is empty while traffic is waiting, it is not intelligent enough. If all lights are green, a boundary condition has been overstepped. The model is a system, but comparable to a thermostat, a level lower than the AI.
The notion that a testing system can be a level lower than the system under test does not mean it necessarily has to stay there. Testing systems themselves can also incorporate AI, even if testing non-AI systems. This can, in particular, be promising when testing very complex systems and even in making AI systems self-testing. You can look for examples at aitesting.org.
I realize that I'm simplifying a complex reality with a constant stream of new ideas and technologies, but hopefully this article gives a starting point for a fascinating journey in testing AI.
Ad blocker detected: Our website is made possible by displaying online advertisements to our visitors. Please consider supporting us by disabling your ad blocker on our website.
Testing Artificial Intelligence: How Low Can You Go?
Thảo luận các vấn đề liên quan đến Kiểm thử phần mềm.
Forum rules
Thảo luận các vấn đề liên quan đến Kiểm thử phần mềm.
Thảo luận các vấn đề liên quan đến Kiểm thử phần mềm.
Post Reply
1 post
• Page 1 of 1
-
- Fresher Tester
- Posts: 17
- Joined: Thu 02 Apr, 2015 11:55 am
- Contact:
Post Reply
1 post
• Page 1 of 1
Return to “Software Testing - Kiểm thử phần mềm”
Jump to
- Software Testing - Kiểm thử phần mềm
- ↳ Software Testing - Kiểm thử phần mềm
- ↳ Agile Testing
- ↳ Game Testing
- ↳ Mobile Testing - Kiểm thử trên thiết bị di động
- ↳ Android Testing
- ↳ Iphone
- ↳ Black Berry
- ↳ Others
- ↳ Black box Testing - Kiểm thử hộp đen
- ↳ White box Testing - Kiểm thử hộp trắng
- ↳ Performance Testing - Kiểm thử hiệu năng
- ↳ Security Testing - Kiểm thử bảo mật
- ↳ Automation Testing - Kiểm thử tự động
- ↳ Quick Test Pro (QTP)
- ↳ Hướng dẫn cài đặt
- ↳ Hướng dẫn sử dụng
- ↳ Selenium
- ↳ Hướng Dẫn Cài Đặt Selenium
- ↳ Hướng Dẫn Sử Dụng Selenium
- ↳ Load Runner
- ↳ Hướng Dẫn Cài Đặt Load Runner
- ↳ Hướng Dẫn Sử Dụng Load Runner
- ↳ JMeter
- ↳ NUnit
- ↳ Hướng Dẫn Cài Đặt NUnit
- ↳ Hướng Dẫn Sử Dụng NUnit
- ↳ JUnit
- ↳ Hướng Dẫn Cài Đặt JUnit
- ↳ Hướng Dẫn Sử Dụng JUnit
- ↳ Automation Framework
- ↳ Katalon Studio
- ↳ Bug Tracking/Management System - Bug và Công cụ Quản lý Bug
- ↳ Bugzilla Management System - Hệ thống quản lý bug Bugzilla
- ↳ Mantis Management System - Hệ thống quản lý bug Mantis
- ↳ Test cases - Tập hợp các trường hợp kiểm thử
- ↳ Test Plans - Kế hoạch kiểm thử
- ↳ 日本語のソフトウェア.テスト
- ↳ Others - Các vấn đề khác
- Quản lý Kiểm thử Phần mềm
- ↳ Câu Lạc Bộ Test Leaders
- ↳ Ước lượng trong kiểm thử phần mềm
- ↳ Chiến lược kiểm thử phần mềm
- ↳ Các vấn đề khác trong quản lý nhóm
- Đào tạo Tester - Training
- ↳ Đào tạo Tester
- ↳ Fresher Tester
- ↳ ISTQB CTFL
- ↳ Đào tạo Agile Tester
- ↳ Đào tạo JMeter
- ↳ Đào tạo Automation Tester
- ↳ Đào tạo API Testing
- ↳ Dạy Appium - Mobile Automated Test
- ↳ Java for Testers
- ↳ SQL for Testers
- ↳ Tư vấn việc làm
- ↳ Tạo CV ấn tượng
- ↳ Kinh nghiệm phỏng vấn
- ↳ Học Soft Skills
- ↳ Góc chia sẻ kinh nghiệm của Tester Việt nam
- Software Testing Certificate - Chứng chỉ Kiểm thử phần mềm
- ↳ ISTQB Certificate - Chứng chỉ ISTQB
- ↳ ISTQB Exam - Question - Sample
- ↳ ISTQB Test Online
- ↳ ISTQB Syllabus - Tài liệu học ISTQB material
- ↳ Thuật ngữ kiểm thử phần mềm
- ↳ Others - Các vấn đề khác liên quan đến ISTQB
- ↳ ISTQB Agile Tester
- ↳ ISEB Certificate - Chứng chỉ ISEB
- ↳ ISEB Exam - Question - Sample
- ↳ ISEB Study Material - Tài liệu học ISEB
- ↳ Other - Các vấn đề khác liên quan đến ISEB
- ↳ Others - Các chứng chỉ khác
- TVN Club
- ↳ TVN Club
- ↳ Lịch Offline TVN CLub
- ↳ Tài liệu - Video - TVN Club
- Việc làm Tester - Job
- ↳ Ngàn cơ hội từ ITviec.com
- ↳ Tuyển Tester/QC - Tp.HCM
- ↳ Tuyển Tester/QC - Hà Nội
- ↳ Tuyển Tester/QC - Đà Nẵng
- ↳ Tạo hồ sơ - cơ hội để nhà tuyển dụng thấy bạn
- ↳ QA - QC - Tester có kinh nghiệm
- ↳ QA - QC - Tester mới ra trường
- Templates - Các loại biểu mẫu
- ↳ Test Case Template - Test case mẫu
- ↳ Test Plan Templates - Test plan mẫu
- ↳ Other - Các loại biểu mẫu khác
- Thông tin khác
- ↳ Thắp sáng niềm tin
- ↳ Quỹ khuyến học TESTING VN
- ↳ Bếp Cháo Bình An
- ↳ Dzui Dzui Dzui
- ↳ Larva
- ↳ Tom and Jerry
- ↳ Nghệ thuật sống - Hạt giống tâm hồn
- ↳ Học Tiếng Anh Online
- ↳ Học Tiếng Anh qua Hình ảnh
- ↳ Học Tiếng Anh qua Truyện vui
- ↳ Học Tiếng Anh qua Test case
- ↳ Học Tiếng Nhật cùng Trang Mèo
- ↳ Soft hỗ trợ Kiểm thử phần mềm
- ↳ BA - Phân Tích hệ thống
- ↳ Thông tin về diễn đàn
- ↳ Thông báo từ Diễn đàn
- ↳ Hỏi đáp thắc mắc về diễn đàn
- Quảng cáo - Rao vặt
- ↳ Tin tức CNTT
- ↳ Quảng cáo - Rao vặt